白化

From Ufldl

Jump to: navigation, search
 
Line 1: Line 1:
-
:【原文】:
+
== 介绍 ==
-
:Introduction
+
-
+
-
We have used PCA to reduce the dimension of the data. There is a closely related preprocessing step called whitening (or, in some other literatures, sphering) which is needed for some algorithms. If we are training on images, the raw input is redundant, since adjacent pixel values are highly correlated. The goal of whitening is to make the input less redundant; more formally, our desiderata are that our learning algorithms sees a training input where (i) the features are less correlated with each other, and (ii) the features all have the same variance.
+
-
:【初译】:
+
我们已经了解了如何使用PCA降低数据维度。在一些算法中还需要一个与之相关的预处理步骤,这个预处理过程称为'''白化'''(一些文献中也叫'''sphering''')。举例来说,假设训练数据是图像,由于图像中相邻像素之间具有很强的相关性,所以用于训练时输入是冗余的。白化的目的就是降低输入的冗余性;更正式的说,我们希望通过白化过程使得学习算法的输入具有如下性质:(i)特征之间相关性较低;(ii)所有特征具有相同的方差。
-
:介绍
+
-
我们使用过 PCA 来降低数据维度. 还有一个与之非常相关的预处理步骤叫 白化 (一些文献中也称sphering) ,一些算法中需要这个步骤. 当在图像数据上进行训练时, 由于相邻像素值高度相关,原始的输入具有冗余性。白化的目标是降低输入的冗余性;更形式化地说,我们需要的是使我们的学习算法可以有一个供训练的输入使得:(i) 特征之间相关性更低 (ii) 特征都有相同的方差。
 
-
:【一校】:
+
== 2D 的例子 ==
-
我们已经了解了如何使用PCA降低数据维度。在一些算法中还需要一个与之相关的预处理步骤,这个预处理过程称为白化(一些文献中也叫shpering)。举例来说,假设训练数据是图像,由于图像中相邻像素之间具有很强的相关性,如果用原始图像数据作为输入的话,输入是冗余的。白化的目的就是降低输入的冗余性;更正式的说,我们希望通过白化过程使得学习算法的输入具有如下性质:(i)特征之间相关性较低;(ii)所有特征具有相同的方差。
+
-
:【原文】:
+
下面我们先用前文的2D例子描述白化的主要思想,然后分别介绍如何将白化与平滑和PCA相结合。
-
:2D example
+
-
We will first describe whitening using our previous 2D example. We will then describe how this can be combined with smoothing, and finally how to combine this with PCA.
+
如何消除输入特征之间的相关性? 在前文计算 <math>\textstyle x_{\rm rot}^{(i)} = U^Tx^{(i)}</math> 时实际上已经消除了输入特征<math>\textstyle x^{(i)}</math>之间的相关性。得到的新特征 <math>\textstyle x_{\rm rot}</math> 的分布如下图所示:
-
How can we make our input features uncorrelated with each other? We had already done this when computing <math>x_{rot}^{(i)}=U^Tx^{(i)}</math>. Repeating our previous figure, our plot for <math>x_{rot}</math> was:
+
-
 
+
-
 
+
-
:【初译】:
+
-
:2D 的例子
+
-
 
+
-
首先我们将通过之前的 2D 例子描述白化。然后描述其与smoothing的结合, 最后讨论如何与PCA结合。
+
-
我们如何消除输入特征之间的相关性? 在计算<math>x_{rot}^{(i)}=U^Tx^{(i)}</math>时我们其实已经完成了。回顾之前的图表, 在坐标系中绘出<math>x_{rot}</math>:
+
-
 
+
-
:【一校】:
+
-
下面我们先用前文的2D例子描述白化的主要思想,然后分别介绍如何将白化与平滑和PCA相结合。
+
-
在前文计算<math>x_{rot}^{(i)}=U^Tx^{(i)}</math>时我们实际上已经消除了输入特征<math>x^{(i)}</math>之间的相关性。得到的新特征<math>x_{rot}</math>的分布如下图所示:
+
[[File:PCA-rotated.png | 600px]]
[[File:PCA-rotated.png | 600px]]
-
:【原文】:
+
这个数据的协方差矩阵如下:
-
The covariance matrix of this data is given by:
+
-
<math>\begin{align}
+
:<math>\begin{align}
\begin{bmatrix}
\begin{bmatrix}
7.29 & 0  \\
7.29 & 0  \\
Line 41: Line 21:
\end{align}</math>
\end{align}</math>
-
(Note: Technically, many of the
+
(: 严格地讲, 这部分许多关于“协方差”的陈述仅当数据均值为0时成立。下文的论述都隐式地假定这一条件成立。不过即使数据均值不为0,下文的说法仍然成立,所以你无需担心这个。)
-
statements in this section about the "covariance" will be true only if the data
+
-
has zero mean.  In the rest of this section, we will take this assumption as
+
-
implicit in our statements.  However, even if the data's mean isn't exactly zero,
+
-
the intuitions we're presenting here still hold true, and so this isn't something
+
-
that you should worry about.)
+
-
:【初译】:
 
-
数据的协方差矩阵如下:
 
-
(注: 严格地讲, 这部分许多关于“协方差”的陈述仅当数据以0为均值时成立。接下来,我们将这一假设作为隐含条件。然而,即使数据不以0为均值,我们在这里提出的仍然保持正确,因此读者无需担心。)  
+
<math>\textstyle x_{\rm rot}</math> 协方差矩阵对角元素的值为 <math>\textstyle \lambda_1</math> 和 <math>\textstyle \lambda_2</math> 绝非偶然。并且非对角元素值为0; 因此, <math>\textstyle x_{{\rm rot},1}</math> 和 <math>\textstyle x_{{\rm rot},2}</math> 是不相关的, 满足我们对白化结果的第一个要求 (特征间相关性降低)
-
:【一校】:
+
为了使每个输入特征具有单位方差,我们可以直接使用 <math>\textstyle 1/\sqrt{\lambda_i}</math> 作为缩放因子来缩放每个特征 <math>\textstyle x_{{\rm rot},i}</math> 。具体地,我们定义白化后的数据 <math>\textstyle x_{{\rm PCAwhite}} \in \Re^n</math> 如下:
-
数据的协方差矩阵如下:
+
-
(注: 严格地讲, 这部分许多关于“协方差”的陈述仅当数据均值为0时成立。下文的论述都隐式地假定这一条件成立。不过即使数据均值不为0,下文的说法仍然成立。)
 
-
 
-
:【原文】:
 
-
It is no accident that the diagonal values are <math>\textstyle \lambda_1</math> and <math>\textstyle \lambda_2</math>. 
 
-
Further,
 
-
the off-diagonal entries are zero; thus,
 
-
<math>\textstyle x_{{\rm rot},1}</math> and <math>\textstyle x_{{\rm rot},2}</math> are uncorrelated, satisfying one of our desiderata
 
-
for whitened data (that the features be less correlated).
 
-
 
-
To make each of our input features have unit variance, we can simply rescale
 
-
each feature <math>\textstyle x_{{\rm rot},i}</math> by <math>\textstyle 1/\sqrt{\lambda_i}</math>.  Concretely, we define
 
-
our whitened data <math>\textstyle x_{{\rm PCAwhite}} \in \Re^n</math> as follows:
 
:<math>\begin{align}
:<math>\begin{align}
x_{{\rm PCAwhite},i} = \frac{x_{{\rm rot},i} }{\sqrt{\lambda_i}}.   
x_{{\rm PCAwhite},i} = \frac{x_{{\rm rot},i} }{\sqrt{\lambda_i}}.   
\end{align}</math>
\end{align}</math>
-
Plotting <math>\textstyle x_{{\rm PCAwhite}}</math>, we get:
 
-
[[File:PCA-whitened.png | 600px]]
 
-
:【初译】:
+
绘制出 <math>\textstyle x_{{\rm PCAwhite}}</math> ,我们得到:
-
毫无疑问,对角元素的值为<math>\textstyle \lambda_1</math>和<math>\textstyle \lambda_2</math>。非对角元素值为0; 并且,<math>\textstyle x_{{\rm rot},1}</math>和<math>\textstyle x_{{\rm rot},2}</math>是不相关的, 满足其中一个我们对白化结果的要求 (特征间更不相关)。
+
-
为了使我们每个输入特征具有单位方差,可以直接使用<math>\textstyle 1/\sqrt{\lambda_i}</math>来缩放每个特征<math>\textstyle x_{{\rm rot},i}</math>。具体地,我们定义白化后的数据<math>\textstyle x_{{\rm PCAwhite}} \in \Re^n</math>如下:
+
-
绘制出<math>\textstyle x_{{\rm PCAwhite}}</math>, 我们得到:
+
[[File:PCA-whitened.png | 600px]]
-
:【一校】:
+
-
毫无疑问, 协方差矩阵对角元素的值为<math>\textstyle \lambda_1</math>和<math>\textstyle \lambda_2</math>。非对角元素值为0; 并且,<math>\textstyle x_{{\rm rot},1}</math>和<math>\textstyle x_{{\rm rot},2}</math>是不相关的, 满足我们对白化结果的第一个要求 (特征间相关性降低)。
+
-
为了使每个输入特征具有单位方差,我们可以直接使用<math>\textstyle 1/\sqrt{\lambda_i}</math>来缩放每个特征<math>\textstyle x_{{\rm rot},i}</math>。具体地,我们定义白化后的数据<math>\textstyle x_{{\rm PCAwhite}} \in \Re^n</math>如下:
+
-
绘制出<math>\textstyle x_{{\rm PCAwhite}}</math>, 我们得到:
 
-
:【原文】:
+
这些数据现在的协方差矩阵为单位矩阵 <math>\textstyle I</math> 。我们说,<math>\textstyle x_{{\rm PCAwhite}}</math> 是数据经过'''PCA白化后'''的版本: <math>\textstyle x_{{\rm PCAwhite}}</math> 中不同的特征之间不相关并且具有单位方差。
-
This data now has covariance equal to the identity matrix <math>\textstyle I</math>.  We say that
+
'''白化与降维相结合'''。 如果你想要得到经过白化后的数据,并且比初始输入维数更低,可以仅保留 <math>\textstyle x_{{\rm PCAwhite}}</math> 中前 <math>\textstyle k</math> 个成分。当我们把PCA白化和正则化结合起来时(在稍后讨论)<math>\textstyle x_{{\rm PCAwhite}}</math> 中最后的少量成分将总是接近于0,因而舍弃这些成分不会带来很大的问题。
-
<math>\textstyle x_{{\rm PCAwhite}}</math> is our '''PCA whitened''' version of the data: The
+
-
different components of <math>\textstyle x_{{\rm PCAwhite}}</math> are uncorrelated and have
+
-
unit variance.
+
-
'''Whitening combined with dimensionality reduction.'''
+
-
If you want to have data that is whitened and which is lower dimensional than
+
-
the original input, you can also optionally keep only the top <math>\textstyle k</math> components of
+
-
<math>\textstyle x_{{\rm PCAwhite}}</math>.  When we combine PCA whitening with regularization
+
-
(described later), the last few components of <math>\textstyle x_{{\rm PCAwhite}}</math> will be
+
-
nearly zero anyway, and thus can safely be dropped.
+
-
:【初译】:
 
-
这些数据现在的协方差矩阵为单位矩阵<math>\textstyle I</math>. 我们说,<math>\textstyle x_{{\rm PCAwhite}}</math>是数据经过PCA白化的版本:<math>\textstyle x_{{\rm PCAwhite}}</math>中不同的成分是不相关的并且具有单位方差。
+
== ZCA白化 ==
-
白化与维度降低相结合.
+
-
如果你想得到经过白化并且维度比初试输入更低的数据, 你也可以任意地仅保留前<math>\textstyle k</math>个<math>\textstyle x_{{\rm PCAwhite}}</math>中的成分。当我们把PCA白化和正则化结合起来时(在稍后讨论),在最后的一些<math>\textstyle x_{{\rm PCAwhite}}</math>的成分将总是接近于0,因此可以放心地舍弃它们。
+
-
:【一校】:
+
最后要说明的是,使数据的协方差矩阵变为单位矩阵 <math>\textstyle I</math> 的方式并不唯一。具体地,如果 <math>\textstyle R</math> 是任意正交矩阵,即满足 <math>\textstyle RR^T = R^TR = I</math> (说它正交不太严格,<math>\textstyle R</math> 可以是旋转或反射矩阵), 那么 <math>\textstyle R \,x_{\rm PCAwhite}</math> 仍然具有单位协方差。在'''ZCA白化'''中,令 <math>\textstyle R = U</math> 。我们定义ZCA白化的结果为:
-
这些数据现在的协方差矩阵为单位矩阵<math>\textstyle I</math>. 我们说,<math>\textstyle x_{{\rm PCAwhite}}</math>是数据经过PCA白化后的版本:<math>\textstyle x_{{\rm PCAwhite}}</math>中不同的特征之间是不相关并且具有单位方差。
 
-
白化与降维相结合.
 
-
如果你要经过白化并且维度比初始输入更低维的数据, 也可以仅保留<math>\textstyle x_{{\rm PCAwhite}}</math>中前<math>\textstyle k</math>个的成分。当我们把PCA白化和正则化结合起来时(在稍后讨论),<math>\textstyle x_{{\rm PCAwhite}}</math>中最后的少量成分将总是接近于0,因而舍弃这些成分不会带来很大的问题。
 
-
 
-
:【原文】:
 
-
 
-
:ZCA Whitening
 
-
Finally, it turns out that this way of getting the
 
-
data to have covariance identity <math>\textstyle I</math> isn't unique.
 
-
Concretely, if
 
-
<math>\textstyle R</math> is any orthogonal matrix, so that it satisfies <math>\textstyle RR^T = R^TR = I</math> (less formally,
 
-
if <math>\textstyle R</math> is a rotation/reflection matrix),
 
-
then <math>\textstyle R \,x_{\rm PCAwhite}</math> will also have identity covariance. 
 
-
In '''ZCA whitening''',
 
-
we choose <math>\textstyle R = U</math>.  We define
 
:<math>\begin{align}
:<math>\begin{align}
x_{\rm ZCAwhite} = U x_{\rm PCAwhite}
x_{\rm ZCAwhite} = U x_{\rm PCAwhite}
\end{align}</math>
\end{align}</math>
-
Plotting <math>\textstyle x_{\rm ZCAwhite}</math>, we get:  
+
 
 +
绘制 <math>\textstyle x_{\rm ZCAwhite}</math>,得到:  
[[File:ZCA-whitened.png | 600px]]
[[File:ZCA-whitened.png | 600px]]
-
It can be shown that out of all possible choices for <math>\textstyle R</math>,
 
-
this choice of rotation causes <math>\textstyle x_{\rm ZCAwhite}</math> to be as close as possible to the
 
-
original input data <math>\textstyle x</math>. 
 
-
When using ZCA whitening (unlike PCA whitening), we usually keep all <math>\textstyle n</math> dimensions
+
可以证明,对所有可能的 <math>\textstyle R</math>,这种旋转使得 <math>\textstyle x_{\rm ZCAwhite}</math> 尽可能地接近原始输入数据 <math>\textstyle x</math> 。
-
of the data, and do not try to reduce its dimension.
+
-
:【初译】:
+
当使用 ZCA白化时(不同于 PCA白化),我们通常保留数据的全部 <math>\textstyle n</math> 个维度,不尝试去降低它的维数。
-
:ZCA白化
 
-
最后,事实证明使数据的协方差矩阵为单位矩阵<math>\textstyle I</math>的方式并不唯一。具体地,如果<math>\textstyle R</math>是任意正交矩阵,即满足<math>\textstyle RR^T = R^TR = I</math>(不太正式地讲,若<math>\textstyle R</math>是旋转/反射矩阵), 那么<math>\textstyle R \,x_{\rm PCAwhite}</math>具有单位协方差。在 ZCA白化中,令<math>\textstyle R = U</math>.我们定义:
+
== 正则化 ==
 +
 
 +
实践中需要实现PCA白化或ZCA白化时,有时一些特征值 <math>\textstyle \lambda_i</math> 在数值上接近于0,这样在缩放步骤时我们除以 <math>\sqrt{\lambda_i}</math> 将导致除以一个接近0的值;这可能使数据上溢 (赋为大数值)或造成数值不稳定。因而在实践中,我们使用少量的正则化实现这个缩放过程,即在取平方根和倒数之前给特征值加上一个很小的常数 <math>\textstyle \epsilon</math>
 +
 
:<math>\begin{align}
:<math>\begin{align}
-
x_{\rm ZCAwhite} = U x_{\rm PCAwhite}
+
x_{{\rm PCAwhite},i} = \frac{x_{{\rm rot},i} }{\sqrt{\lambda_i + \epsilon}}.
\end{align}</math>
\end{align}</math>
-
绘制<math>\textstyle x_{\rm ZCAwhite}</math>,得到:
+
<math>\textstyle x</math> 在区间 <math>\textstyle [-1,1]</math> 上时,  一般取值为 <math>\textstyle \epsilon \approx 10^{-5}</math>
-
可以看到,对所有可能的<math>\textstyle R</math>,这种旋转使得<math>\textstyle R</math>尽可能地接近原始输入数据<math>\textstyle x</math>.
+
对图像来说, 这里加上 <math>\textstyle \epsilon</math> ,对输入图像也有一些平滑(或低通滤波)的作用。这样处理还能消除在图像的像素信息获取过程中产生的噪声,改善学习到的特征(细节超出了本文的范围)。
-
当使用 ZCA白化时(不同于 PCA白化),我们通常保留数据的全部<math>\textstyle n</math>个维度,不尝试去降低它的维数。
+
-
:【一校】:
 
-
:ZCA白化
+
ZCA 白化是一种数据预处理方法,它将数据从 <math>\textstyle x</math> 映射到 <math>\textstyle x_{\rm ZCAwhite}</math> 。 事实证明这也是一种生物眼睛(视网膜)处理图像的粗糙模型。具体而言,当你的眼睛感知图像时,由于一幅图像中相邻的部分在亮度上十分相关,大多数临近的“像素”在眼中被感知为相近的值。因此,如果人眼需要分别传输每个像素值(通过视觉神经)到大脑中,会非常不划算。取而代之的是,视网膜进行一个与ZCA中相似的去相关操作 (这是由视网膜上的ON-型和OFF-型光感受器细胞将光信号转变为神经信号完成的)。由此得到对输入图像的更低冗余的表示,并将它传输到大脑。
-
最后要说明的是,使数据的协方差矩阵变为单位矩阵<math>\textstyle I</math>的方式并不唯一。具体地,如果<math>\textstyle R</math>是任意正交矩阵,即满足<math>\textstyle RR^T = R^TR = I</math>(不太正式地讲,<math>\textstyle R</math>是旋转或反射矩阵), 那么<math>\textstyle R \,x_{\rm PCAwhite}</math>仍然具有单位协方差。在 ZCA白化中,令<math>\textstyle R = U</math>.我们定义ZCA白化的结果为:
 
-
:<math>\begin{align}
 
-
x_{\rm ZCAwhite} = U x_{\rm PCAwhite}
 
-
\end{align}</math>
 
-
绘制<math>\textstyle x_{\rm ZCAwhite}</math>,得到:
 
-
可以证明,对所有可能的<math>\textstyle R</math>,这种旋转使得<math>\textstyle R</math>尽可能地接近原始输入数据<math>\textstyle x</math>.
+
==中英文对照==
-
当使用 ZCA白化时(不同于 PCA白化),我们通常保留数据的全部<math>\textstyle n</math>个维度,不尝试去降低它的维数。
+
-
:【原文】:
+
白化 whitening
-
:Regularizaton
+
冗余 redundant
-
When implementing PCA whitening or ZCA whitening in practice, sometimes some
+
方差 variance
-
of the eigenvalues <math>\textstyle \lambda_i</math> will be numerically close to 0, and thus the scaling
+
-
step where we divide by <math>\sqrt{\lambda_i}</math> would involve dividing by a value close to zero; this
+
-
may cause the data to blow up (take on large values) or otherwise be numerically unstable.  In practice, we
+
-
therefore implement this scaling step using
+
-
a small amount of regularization, and add a small constant <math>\textstyle \epsilon</math>
+
-
to the eigenvalues before taking their square root and inverse:
+
-
:<math>\begin{align}
+
-
x_{{\rm PCAwhite},i} = \frac{x_{{\rm rot},i} }{\sqrt{\lambda_i + \epsilon}}.
+
-
\end{align}</math>
+
-
When <math>\textstyle x</math> takes values around <math>\textstyle [-1,1]</math>, a value of <math>\textstyle \epsilon \approx 10^{-5}</math>
+
-
might be typical.
+
-
:【初译】:
+
平滑 smoothing
-
实践中需要实现PCA白化或ZCA白化时,有时一些特征值<math>\textstyle \lambda_i</math>在数值上接近于0, 这样在缩放步骤时我们除以<math>\sqrt{\lambda_i}</math>将导致除以一个接近0的值;这可能使数据上溢 (赋为大数值)或造成数值不稳定。因而在实践中,我们使用些许的正则化实现这个缩放过程,即在取平方根和倒数之前给特征值加上一个很小的常数<math>\textstyle \epsilon</math>:
+
降维 dimensionality reduction
-
:<math>\begin{align}
+
 
-
x_{{\rm PCAwhite},i} = \frac{x_{{\rm rot},i} }{\sqrt{\lambda_i + \epsilon}}.
+
正则化 regularization
-
\end{align}</math>
+
 
-
当<math>\textstyle x</math>在区间<math>\textstyle [-1,1]</math>上时,  一般取值为<math>\textstyle \epsilon \approx 10^{-5}</math>。
+
反射矩阵 reflection matrix
 +
 
 +
去相关 decorrelation
-
:【一校】:
 
-
实践中需要实现PCA白化或ZCA白化时,有时一些特征值<math>\textstyle \lambda_i</math>在数值上接近于0, 这样在缩放步骤时我们除以<math>\sqrt{\lambda_i}</math>将导致除以一个接近0的值;这可能使数据上溢 (赋为大数值)或造成数值不稳定。因而在实践中,我们使用少量的正则化实现这个缩放过程,即在取平方根和倒数之前给特征值加上一个很小的常数<math>\textstyle \epsilon</math>:
 
-
:<math>\begin{align}
 
-
x_{{\rm PCAwhite},i} = \frac{x_{{\rm rot},i} }{\sqrt{\lambda_i + \epsilon}}.
 
-
\end{align}</math>
 
-
当<math>\textstyle x</math>在区间<math>\textstyle [-1,1]</math>上时,  一般取值为<math>\textstyle \epsilon \approx 10^{-5}</math>。
 
-
:【原文】:
+
==中文译者==
-
For the case of images, adding <math>\textstyle \epsilon</math> here also has the effect of slightly smoothing (or low-pass
+
杨海川(yanghaichuan@outlook.com), 王文中(wangwenzhong@ymail.com), 谭晓阳(x.tan@nuaa.edu.cn)
-
filtering) the input image. This also has a desirable effect of removing aliasing artifacts
+
-
caused by the way pixels are laid out in an image, and can improve the features learned
+
-
(details are beyond the scope of these notes).  
+
-
ZCA whitening is a form of pre-processing of the data that maps it from <math>\textstyle x</math> to
 
-
<math>\textstyle x_{\rm ZCAwhite}</math>.  It turns out that this is also a rough model of how the
 
-
biological eye (the retina) processes images.  Specifically, as your eye
 
-
perceives images, most adjacent "pixels" in your eye will perceive very
 
-
similar values, since adjacent parts of an image tend to be highly correlated
 
-
in intensity.  It is thus wasteful for your eye to have to transmit every pixel
 
-
separately (via your optic nerve) to your brain.  Instead, your retina performs
 
-
a decorrelation operation (this is done via retinal neurons that compute a function
 
-
called "on center, off surround/off center, on surround") which is similar to that
 
-
performed by ZCA.  This results in a less redundant representation of the input
 
-
image, which is then transmitted to your brain.
 
-
:【初译】:
+
{{预处理:主成分分析与白化}}
-
对图像来说, 这里加上<math>\textstyle \epsilon</math>,对输入图像也有一些平滑(或低通滤波)的作用。这样处理还能消除在图像的像素信息获取过程中产生的人为的噪声,改善学习到的特征。(细节超出了本文的范围).
+
-
ZCA 白化是一种对数据的预处理方法,它将数据从<math>\textstyle x</math>映射到<math>\textstyle x_{\rm ZCAwhite}</math>。 事实证明这也是一种对生物的眼睛(视网膜)处理图像的粗糙的模型。特别地,当你的眼睛感知图像时,由于一幅图像中相邻的部分在亮度上十分相关,大多数临近的“像素”在你眼中被感知为相近的值。你的眼睛如果需要分别传输每个像素(通过视觉神经)到你的大脑中,会非常不划算。取而代之的是,你的视网膜进行一个与ZCA中相似的去相关操作 (这由视网膜神经元通过计算一个称作“在中心, 不在周围/不在中心, 在周围”的函数完成)。由此得到一个对输入图像更低冗余的表示,然后它将被传输到你的大脑。
+
-
:【一校】:
 
-
对图像来说, 这里加上<math>\textstyle \epsilon</math>,对输入图像也有一些平滑(或低通滤波)的作用。这样处理还能消除在图像的像素信息获取过程中产生的噪声,改善学习到的特征。(细节超出了本文的范围).
+
{{Languages|Whitening|English}}
-
ZCA 白化是一种数据预处理方法,它将数据从<math>\textstyle x</math>映射到<math>\textstyle x_{\rm ZCAwhite}</math>。 事实证明这也是一种对生物眼睛(视网膜)处理图像的粗糙的模型。眼睛感知图像时,由于一幅图像中相邻的部分在亮度上十分相关,大多数临近的“像素”在眼中被感知为相近的值。人眼如果分别传输每个像素(通过视觉神经)到大脑中,会非常不划算。取而代之的是,视网膜进行一个与ZCA中相似的去相关操作 (这是由视网膜上的ON-型和OFF-型光感受器细胞将光信号转变为神经信号完成的)。由此得到对输入图像的更低冗余的表示,并将它被传输到大脑。
+

Latest revision as of 05:37, 8 April 2013

Personal tools