白化
From Ufldl
| Line 138: | Line 138: | ||
:【初译】： | :【初译】： | ||
| - | + | :ZCA白化 | |
最后，事实证明使数据的协方差矩阵为单位矩阵<math>\textstyle I</math>的方式并不唯一。具体地，如果<math>\textstyle R</math>是任意正交矩阵,即满足<math>\textstyle RR^T = R^TR = I</math>(不太正式地讲，若<math>\textstyle R</math>是旋转/反射矩阵), 那么<math>\textstyle R \,x_{\rm PCAwhite}</math>具有单位协方差。在 ZCA白化中，令<math>\textstyle R = U</math>.我们定义： | 最后，事实证明使数据的协方差矩阵为单位矩阵<math>\textstyle I</math>的方式并不唯一。具体地，如果<math>\textstyle R</math>是任意正交矩阵,即满足<math>\textstyle RR^T = R^TR = I</math>(不太正式地讲，若<math>\textstyle R</math>是旋转/反射矩阵), 那么<math>\textstyle R \,x_{\rm PCAwhite}</math>具有单位协方差。在 ZCA白化中，令<math>\textstyle R = U</math>.我们定义： | ||
| Line 152: | Line 152: | ||
:【一校】： | :【一校】： | ||
| - | + | :ZCA白化 | |
最后要说明的是，使数据的协方差矩阵变为单位矩阵<math>\textstyle I</math>的方式并不唯一。具体地，如果<math>\textstyle R</math>是任意正交矩阵,即满足<math>\textstyle RR^T = R^TR = I</math>(不太正式地讲，<math>\textstyle R</math>是旋转或反射矩阵), 那么<math>\textstyle R \,x_{\rm PCAwhite}</math>仍然具有单位协方差。在 ZCA白化中，令<math>\textstyle R = U</math>.我们定义ZCA白化的结果为： | 最后要说明的是，使数据的协方差矩阵变为单位矩阵<math>\textstyle I</math>的方式并不唯一。具体地，如果<math>\textstyle R</math>是任意正交矩阵,即满足<math>\textstyle RR^T = R^TR = I</math>(不太正式地讲，<math>\textstyle R</math>是旋转或反射矩阵), 那么<math>\textstyle R \,x_{\rm PCAwhite}</math>仍然具有单位协方差。在 ZCA白化中，令<math>\textstyle R = U</math>.我们定义ZCA白化的结果为： | ||
| Line 182: | Line 182: | ||
:【初译】： | :【初译】： | ||
| + | |||
| + | :正则化 | ||
实践中需要实现PCA白化或ZCA白化时，有时一些特征值<math>\textstyle \lambda_i</math>在数值上接近于0, 这样在缩放步骤时我们除以<math>\sqrt{\lambda_i}</math>将导致除以一个接近0的值；这可能使数据上溢 (赋为大数值)或造成数值不稳定。因而在实践中，我们使用些许的正则化实现这个缩放过程，即在取平方根和倒数之前给特征值加上一个很小的常数<math>\textstyle \epsilon</math>： | 实践中需要实现PCA白化或ZCA白化时，有时一些特征值<math>\textstyle \lambda_i</math>在数值上接近于0, 这样在缩放步骤时我们除以<math>\sqrt{\lambda_i}</math>将导致除以一个接近0的值；这可能使数据上溢 (赋为大数值)或造成数值不稳定。因而在实践中，我们使用些许的正则化实现这个缩放过程，即在取平方根和倒数之前给特征值加上一个很小的常数<math>\textstyle \epsilon</math>： | ||
| Line 190: | Line 192: | ||
:【一校】： | :【一校】： | ||
| + | |||
| + | :正则化 | ||
实践中需要实现PCA白化或ZCA白化时，有时一些特征值<math>\textstyle \lambda_i</math>在数值上接近于0, 这样在缩放步骤时我们除以<math>\sqrt{\lambda_i}</math>将导致除以一个接近0的值；这可能使数据上溢 (赋为大数值)或造成数值不稳定。因而在实践中，我们使用少量的正则化实现这个缩放过程，即在取平方根和倒数之前给特征值加上一个很小的常数<math>\textstyle \epsilon</math>： | 实践中需要实现PCA白化或ZCA白化时，有时一些特征值<math>\textstyle \lambda_i</math>在数值上接近于0, 这样在缩放步骤时我们除以<math>\sqrt{\lambda_i}</math>将导致除以一个接近0的值；这可能使数据上溢 (赋为大数值)或造成数值不稳定。因而在实践中，我们使用少量的正则化实现这个缩放过程，即在取平方根和倒数之前给特征值加上一个很小的常数<math>\textstyle \epsilon</math>： | ||
