主成分分析
From Ufldl
(→Rotating the Data 旋转数据) |
(→Example and Mathematical Background 实例和数学背景) |
||
| Line 83: | Line 83: | ||
【初译】：PCA算法的目的是为了选取一个数据投影的低维空间。从下图中可以看出，<math>\textstyle u_1</math>是数据变化的主方向，而<math>\textstyle u_2</math>是次方向。 | 【初译】：PCA算法的目的是为了选取一个数据投影的低维空间。从下图中可以看出，<math>\textstyle u_1</math>是数据变化的主方向，而<math>\textstyle u_2</math>是次方向。 | ||
| - | + | 【一审】：PCA算法将选取一个低维空间来投影数据投影。从下图中可以看出，<math>\textstyle u_1</math>是数据变化的主方向，而<math>\textstyle u_2</math>是次方向。 | |
【二审】： | 【二审】： | ||
| Line 97: | Line 97: | ||
【初译】：也就是说，<math>\textstyle u_1</math>方向上的数据要比<math>\textstyle u_2</math>方向的变化大。为了计算出方向<math>\textstyle u_1</math>和<math>\textstyle u_2</math>，我们首先要通过如下式子计算出矩阵<math>\textstyle \Sigma</math>： | 【初译】：也就是说，<math>\textstyle u_1</math>方向上的数据要比<math>\textstyle u_2</math>方向的变化大。为了计算出方向<math>\textstyle u_1</math>和<math>\textstyle u_2</math>，我们首先要通过如下式子计算出矩阵<math>\textstyle \Sigma</math>： | ||
| - | + | 【一审】：举例说，<math>\textstyle u_1</math>方向上的数据要比<math>\textstyle u_2</math>方向的变化大。为了计算出方向<math>\textstyle u_1</math>和<math>\textstyle u_2</math>，我们首先计算出矩阵<math>\textstyle \Sigma</math>，如下： | |
【二审】： | 【二审】： | ||
| Line 115: | Line 115: | ||
【初译】：假设<math>\textstyle x</math>的均值为零，那么<math>\textstyle \Sigma</math>就是<math>\textstyle x</math>的协方差矩阵。（符号<math>\textstyle \Sigma</math>，读"Sigma"，是协方差矩阵的表示符。虽然看起来与求和符号<math>\sum_{i=1}^n i</math>比较像，但他们是两个不同的概念。）由此可以得出，数据变化的主方向<math>\textstyle u_1</math>是协方差矩阵<math>\textstyle \Sigma</math>的主特征向量，而<math>\textstyle u_2</math>是次特征向量。 | 【初译】：假设<math>\textstyle x</math>的均值为零，那么<math>\textstyle \Sigma</math>就是<math>\textstyle x</math>的协方差矩阵。（符号<math>\textstyle \Sigma</math>，读"Sigma"，是协方差矩阵的表示符。虽然看起来与求和符号<math>\sum_{i=1}^n i</math>比较像，但他们是两个不同的概念。）由此可以得出，数据变化的主方向<math>\textstyle u_1</math>是协方差矩阵<math>\textstyle \Sigma</math>的主特征向量，而<math>\textstyle u_2</math>是次特征向量。 | ||
| - | + | 【一审】：假设<math>\textstyle x</math>的均值为零，那么<math>\textstyle \Sigma</math>就是<math>\textstyle x</math>的协方差矩阵。（符号<math>\textstyle \Sigma</math>，读"Sigma"，是协方差矩阵的表示符。虽然看起来与求和符号<math>\sum_{i=1}^n i</math>比较像，但他们是两个不同的概念。）可以看出，数据变化的主方向<math>\textstyle u_1</math>是协方差矩阵<math>\textstyle \Sigma</math>的主特征向量，而<math>\textstyle u_2</math>是次特征向量。 | |
【二审】： | 【二审】： | ||
| Line 124: | Line 124: | ||
【初译】：注意：如果你对这个结果更具体的数学推导过程感兴趣，可以参看CS229（机器学习）PCA部分的课件。如果仅仅是想跟上这门课程，可以不必如此。 | 【初译】：注意：如果你对这个结果更具体的数学推导过程感兴趣，可以参看CS229（机器学习）PCA部分的课件。如果仅仅是想跟上这门课程，可以不必如此。 | ||
| - | + | 【一审】：注意：如果你对这个结果更具体的数学推导过程感兴趣，可以参看CS229（机器学习）PCA部分的课件。如果仅仅是想跟上这门课程，可以不必如此。 | |
【二审】： | 【二审】： | ||
| Line 135: | Line 135: | ||
【初译】：特征向量可以通过专业的线性代数运算软件求得。计算出协方差矩阵<math>\textstyle \Sigma</math>的特征向量值后，排成列组成矩阵<math>\textstyle U</math>： | 【初译】：特征向量可以通过专业的线性代数运算软件求得。计算出协方差矩阵<math>\textstyle \Sigma</math>的特征向量值后，排成列组成矩阵<math>\textstyle U</math>： | ||
| - | + | 【一审】：你可以通过标准的线性代数运算软件求得特征向量，在此，就是计算出协方差矩阵<math>\textstyle \Sigma</math>的特征向量值，并将其排成列组成矩阵<math>\textstyle U</math>： | |
【二审】： | 【二审】： | ||
| Line 156: | Line 156: | ||
【初译】：矩阵中<math>\textstyle u_1</math>是主特征向量（相应于最大的特征值），<math>\textstyle u_2</math>是次特征向量。以此类推，<math>\textstyle \lambda_1, \lambda_2, \ldots, \lambda_n</math>是相应的特征值。 | 【初译】：矩阵中<math>\textstyle u_1</math>是主特征向量（相应于最大的特征值），<math>\textstyle u_2</math>是次特征向量。以此类推，<math>\textstyle \lambda_1, \lambda_2, \ldots, \lambda_n</math>是相应的特征值。 | ||
| - | + | 【一审】：此处，<math>\textstyle u_1</math>是主特征向量（相应于最大的特征值），<math>\textstyle u_2</math>是次特征向量。以此类推，<math>\textstyle \lambda_1, \lambda_2, \ldots, \lambda_n</math>是相应的特征值。 | |
【二审】： | 【二审】： | ||
| Line 169: | Line 169: | ||
【初译】：实例中，向量<math>\textstyle u_1</math>和<math>\textstyle u_2</math>形成了一个我们可以表示数据的新数据基。令<math>\textstyle x \in \Re^2</math>是训练样本，那么<math>\textstyle u_1^Tx</math>就是样本点<math>\textstyle x</math>到向量<math>\textstyle u_1</math>上的长度（幅值）。类似的，<math>\textstyle u_2^Tx</math>是<math>\textstyle x</math>到向量<math>\textstyle u_2</math>上的幅值。 | 【初译】：实例中，向量<math>\textstyle u_1</math>和<math>\textstyle u_2</math>形成了一个我们可以表示数据的新数据基。令<math>\textstyle x \in \Re^2</math>是训练样本，那么<math>\textstyle u_1^Tx</math>就是样本点<math>\textstyle x</math>到向量<math>\textstyle u_1</math>上的长度（幅值）。类似的，<math>\textstyle u_2^Tx</math>是<math>\textstyle x</math>到向量<math>\textstyle u_2</math>上的幅值。 | ||
| - | + | 【一审】：实例中，向量<math>\textstyle u_1</math>和<math>\textstyle u_2</math>形成了一个我们可以表示数据的新数据基。令<math>\textstyle x \in \Re^2</math>是训练样本，那么<math>\textstyle u_1^Tx</math>就是样本点<math>\textstyle x</math>到维度<math>\textstyle u_1</math>上的投影长度（幅值）。同样的，<math>\textstyle u_2^Tx</math>是<math>\textstyle x</math>到维度<math>\textstyle u_2</math>上的幅值。 | |
【二审】： | 【二审】： | ||
| - | |||
== Rotating the Data 旋转数据 == | == Rotating the Data 旋转数据 == | ||
