主成分分析
From Ufldl
(→Introduction 引言) |
|||
| Line 6: | Line 6: | ||
录入：@Emma_lzhang 邮箱：emma.lzhang@gmail.com | 录入：@Emma_lzhang 邮箱：emma.lzhang@gmail.com | ||
| - | |||
| Line 180: | Line 179: | ||
【二审】：在我们的示例中，向量<math>\textstyle u_1</math>和<math>\textstyle u_2</math>构成了一个表示数据的新的基。令<math>\textstyle x \in \Re^2</math>为训练样本，那么<math>\textstyle u_1^Tx</math>就是样本点<math>\textstyle x</math>在维度<math>\textstyle u_1</math>上的投影长度（幅值）。同样的，<math>\textstyle u_2^Tx</math>是<math>\textstyle x</math>投影到<math>\textstyle u_2</math>维度上的幅值。 | 【二审】：在我们的示例中，向量<math>\textstyle u_1</math>和<math>\textstyle u_2</math>构成了一个表示数据的新的基。令<math>\textstyle x \in \Re^2</math>为训练样本，那么<math>\textstyle u_1^Tx</math>就是样本点<math>\textstyle x</math>在维度<math>\textstyle u_1</math>上的投影长度（幅值）。同样的，<math>\textstyle u_2^Tx</math>是<math>\textstyle x</math>投影到<math>\textstyle u_2</math>维度上的幅值。 | ||
| + | |||
== Rotating the Data 旋转数据 == | == Rotating the Data 旋转数据 == | ||
| Line 431: | Line 431: | ||
【二审】：这也解释了我们为什么会以<math>\textstyle u_1, u_2, \ldots, u_n</math>为基来表示数据：从决定哪些成分需要保留，变成只需简单选取前<math>\textstyle k</math>个成分。当我们这么做的时候，可以描述为我们“保留了前<math>\textstyle k</math>个PCA（主）成分”。 | 【二审】：这也解释了我们为什么会以<math>\textstyle u_1, u_2, \ldots, u_n</math>为基来表示数据：从决定哪些成分需要保留，变成只需简单选取前<math>\textstyle k</math>个成分。当我们这么做的时候，可以描述为我们“保留了前<math>\textstyle k</math>个PCA（主）成分”。 | ||
| + | |||
== Recovering an Approximation of the Data 数据还原 == | == Recovering an Approximation of the Data 数据还原 == | ||
| Line 492: | Line 493: | ||
如果要训练一个自动编码器或其它无监督特征学习算法，算法运行时间将依赖于输入数据的维数。若用<math>\textstyle \tilde{x} \in \Re^k</math>取代<math>\textstyle x</math>作为输入数据，那么算法将使用低维数据进行训练，运行速度将显著加快。对于很多数据集来说，低维表征量<math>\textstyle \tilde{x}</math>即为原数据集的极佳近似，如此使用PCA算法可在只产生极小近似误差的同时，显著地提高运行速度。 | 如果要训练一个自动编码器或其它无监督特征学习算法，算法运行时间将依赖于输入数据的维数。若用<math>\textstyle \tilde{x} \in \Re^k</math>取代<math>\textstyle x</math>作为输入数据，那么算法将使用低维数据进行训练，运行速度将显著加快。对于很多数据集来说，低维表征量<math>\textstyle \tilde{x}</math>即为原数据集的极佳近似，如此使用PCA算法可在只产生极小近似误差的同时，显著地提高运行速度。 | ||
| + | |||
== Number of components to retain 选择主成分个数 == | == Number of components to retain 选择主成分个数 == | ||
| Line 600: | Line 602: | ||
\end{align}</math> | \end{align}</math> | ||
对其它应用，如不介意引入稍大的误差，有时也仅保留90-98%的方差范围。若向他人介绍PCA算法，告诉他们你选择的<math>\textstyle k</math>是为保留95%的方差，比告诉他们你保留了前120个（或任意某个数字）主成分更便于他人理解。 | 对其它应用，如不介意引入稍大的误差，有时也仅保留90-98%的方差范围。若向他人介绍PCA算法，告诉他们你选择的<math>\textstyle k</math>是为保留95%的方差，比告诉他们你保留了前120个（或任意某个数字）主成分更便于他人理解。 | ||
| + | |||
== PCA on Images 对图像数据应用PCA算法 == | == PCA on Images 对图像数据应用PCA算法 == | ||
| Line 725: | Line 728: | ||
【二审】：如果你处理的图像并非自然图像（比如，手写文字，或者白背景正中摆放单独物体），其他规范化操作可能就值得考虑了，哪种做法最合适也将依赖于具体应用场合，但是对自然图像进行训练时，使用如上所述的整个图像块范围内的均值规范化操作可以放心假定为合理的办法。 | 【二审】：如果你处理的图像并非自然图像（比如，手写文字，或者白背景正中摆放单独物体），其他规范化操作可能就值得考虑了，哪种做法最合适也将依赖于具体应用场合，但是对自然图像进行训练时，使用如上所述的整个图像块范围内的均值规范化操作可以放心假定为合理的办法。 | ||
| + | |||
== References 参考文献 == | == References 参考文献 == | ||
http://cs229.stanford.edu | http://cs229.stanford.edu | ||
