主成分分析
From Ufldl
(→Recovering an Approximation of the Data 数据还原) |
(→Reducing the Data Dimension 数据降维) |
||
| Line 238: | Line 238: | ||
【初译】：数据变化的主方向相应于旋转数据的第一维<math>\textstyle x_{{\rm rot},1}</math>。因此，如若想把数据降到一维，我们仅需令： | 【初译】：数据变化的主方向相应于旋转数据的第一维<math>\textstyle x_{{\rm rot},1}</math>。因此，如若想把数据降到一维，我们仅需令： | ||
| - | + | 【一审】：数据变化的主方向相应于旋转数据的第一维<math>\textstyle x_{{\rm rot},1}</math>。因此，如若想把数据降到一维，我们仅需令： | |
【二审】： | 【二审】： | ||
| Line 254: | Line 254: | ||
【初译】：一般情况下，假如想把<math>\textstyle x \in \Re^n</math>的数据降到<math>\textstyle k</math>维，即<math>\textstyle \tilde{x} \in \Re^k</math>（<math>\textstyle k < n</math>），需要选取<math>\textstyle x_{\rm rot}</math>的前<math>\textstyle k</math>个成分，其相应于变量的前<math>\textstyle k</math>个主方向。 | 【初译】：一般情况下，假如想把<math>\textstyle x \in \Re^n</math>的数据降到<math>\textstyle k</math>维，即<math>\textstyle \tilde{x} \in \Re^k</math>（<math>\textstyle k < n</math>），需要选取<math>\textstyle x_{\rm rot}</math>的前<math>\textstyle k</math>个成分，其相应于变量的前<math>\textstyle k</math>个主方向。 | ||
| - | + | 【一审】：一般情况下，假如想把<math>\textstyle x \in \Re^n</math>的数据降到<math>\textstyle k</math>维，即<math>\textstyle \tilde{x} \in \Re^k</math>（<math>\textstyle k < n</math>），需要选取<math>\textstyle x_{\rm rot}</math>的前<math>\textstyle k</math>个成分，其相应于变量的前<math>\textstyle k</math>个方向。 | |
【二审】： | 【二审】： | ||
| Line 268: | Line 268: | ||
【初译】：PCA的另外一种解释是：<math>\textstyle x_{\rm rot}</math>是一个<math>\textstyle n</math>维的向量，其中前面几维比较大（例如，上例中对于大部分的样本<math>\textstyle i</math>通过<math>\textstyle x_{{\rm rot},1}^{(i)} = u_1^Tx^{(i)}</math>计算出了比较大的值），后面几维可能会比较小（例如，上例中<math>\textstyle x_{{\rm rot},2}^{(i)} = u_2^Tx^{(i)}</math>计算出了值较小）。 | 【初译】：PCA的另外一种解释是：<math>\textstyle x_{\rm rot}</math>是一个<math>\textstyle n</math>维的向量，其中前面几维比较大（例如，上例中对于大部分的样本<math>\textstyle i</math>通过<math>\textstyle x_{{\rm rot},1}^{(i)} = u_1^Tx^{(i)}</math>计算出了比较大的值），后面几维可能会比较小（例如，上例中<math>\textstyle x_{{\rm rot},2}^{(i)} = u_2^Tx^{(i)}</math>计算出了值较小）。 | ||
| - | + | 【一审】：PCA的另外一种解释是：<math>\textstyle x_{\rm rot}</math>是一个<math>\textstyle n</math>维的向量，其中前面几维比较大（例如，上例中对于大部分的样本<math>\textstyle i</math>通过<math>\textstyle x_{{\rm rot},1}^{(i)} = u_1^Tx^{(i)}</math>计算出了比较大的值），后面几维可能会比较小（例如，上例中<math>\textstyle x_{{\rm rot},2}^{(i)} = u_2^Tx^{(i)}</math>计算出了值较小）。 | |
【二审】： | 【二审】： | ||
| Line 331: | Line 331: | ||
在我们的实验中，得到了如下的<math>\textstyle \tilde{x}</math>的图形（取<math>\textstyle n=2, k=1</math>）： | 在我们的实验中，得到了如下的<math>\textstyle \tilde{x}</math>的图形（取<math>\textstyle n=2, k=1</math>）： | ||
| - | + | 【一审】：而PCA算法就是丢弃<math>\textstyle x_{\rm rot}</math>中后面的（较小的）成分，把他们赋值为零。更直观地说就是，<math>\textstyle \tilde{x}</math>也可以用 <math>\textstyle x_{{\rm rot}}</math>的除了前<math>\textstyle k</math>个成分，其余全赋值为零来表示。换句话说就是，我们可以运用如下算式： | |
| + | :<math>\begin{align} | ||
| + | \tilde{x} = | ||
| + | \begin{bmatrix} | ||
| + | x_{{\rm rot},1} \\ | ||
| + | \vdots \\ | ||
| + | x_{{\rm rot},k} \\ | ||
| + | 0 \\ | ||
| + | \vdots \\ | ||
| + | 0 \\ | ||
| + | \end{bmatrix} | ||
| + | \approx | ||
| + | \begin{bmatrix} | ||
| + | x_{{\rm rot},1} \\ | ||
| + | \vdots \\ | ||
| + | x_{{\rm rot},k} \\ | ||
| + | x_{{\rm rot},k+1} \\ | ||
| + | \vdots \\ | ||
| + | x_{{\rm rot},n} | ||
| + | \end{bmatrix} | ||
| + | = x_{\rm rot} | ||
| + | \end{align}</math> | ||
| + | |||
| + | 在我们的实验中，得到了如下的<math>\textstyle \tilde{x}</math>的图形（取<math>\textstyle n=2, k=1</math>）： | ||
【二审】： | 【二审】： | ||
| Line 344: | Line 367: | ||
【初译】：然而，由于上面<math>\textstyle \tilde{x}</math>的后<math>\textstyle n-k</math>项都归为了零，所以也就没必要把这些零项保留下来。因此，我们仅用前<math>\textstyle k</math>个成分来定义<math>\textstyle k</math>维向量的<math>\textstyle \tilde{x}</math>。 | 【初译】：然而，由于上面<math>\textstyle \tilde{x}</math>的后<math>\textstyle n-k</math>项都归为了零，所以也就没必要把这些零项保留下来。因此，我们仅用前<math>\textstyle k</math>个成分来定义<math>\textstyle k</math>维向量的<math>\textstyle \tilde{x}</math>。 | ||
| - | + | 【一审】：然而，由于上面<math>\textstyle \tilde{x}</math>的后<math>\textstyle n-k</math>项都归为了零，所以也就没必要把这些零项保留下来。因此，我们仅用前<math>\textstyle k</math>个成分来定义<math>\textstyle k</math>维向量的<math>\textstyle \tilde{x}</math>。 | |
【二审】： | 【二审】： | ||
| Line 355: | Line 378: | ||
【初译】：这也解释了为什么会以<math>\textstyle u_1, u_2, \ldots, u_n</math>为基来表示我们的数据：任务从决定哪些成分需要保留变成了只需简单选取<math>\textstyle k</math>个成分。这种运算我们也可以描述为“我们保留了<math>\textstyle k</math>个PCA（主）成分”。 | 【初译】：这也解释了为什么会以<math>\textstyle u_1, u_2, \ldots, u_n</math>为基来表示我们的数据：任务从决定哪些成分需要保留变成了只需简单选取<math>\textstyle k</math>个成分。这种运算我们也可以描述为“我们保留了<math>\textstyle k</math>个PCA（主）成分”。 | ||
| - | + | 【一审】：这也解释了为什么会以<math>\textstyle u_1, u_2, \ldots, u_n</math>为基来表示我们的数据：从决定哪些成分需要保留演变成了只需简单选取<math>\textstyle k</math>个关键成分。这种运算我们也可以描述为“我们保留了<math>\textstyle k</math>个PCA（主）成分”。 | |
【二审】： | 【二审】： | ||
| - | |||
== Recovering an Approximation of the Data 数据还原 == | == Recovering an Approximation of the Data 数据还原 == | ||
