|
|
| Line 23: |
Line 23: |
| | </math> | | </math> |
| | | | |
| | + | 与深度学习中的通常情况一样，这个问题没有简单的解析解，而且更糟糕的是，由于标准正交性约束，使得用梯度下降方法来求解该问题变得更加困难――每次梯度下降迭代之后，必须将新的基映射回正交基空间中（以此保证正交性约束）。 |
| | + | 实践中，在最优化目标函数的同时施加正交性约束（如下一节正交性 ICA 中讲到的）是可行的，但是速度慢。在标准正交基是不可或缺的情况下，标准正交ICA的使用会受到一些限制。（哪些情况见：[[TODO]] ） |
| | | | |
| - | '''原文''':
| + | == 标准正交ICA == |
| - | | + | |
| - | As is usually the case in deep learning, this problem has no simple analytic solution, and to make matters worse, the orthonormality constraint makes it slightly more difficult to optimize for the objective using gradient descent - every iteration of gradient descent must be followed by a step that maps the new basis back to the space of orthonormal bases (hence enforcing the constraint).
| + | |
| - | | + | |
| - | | + | |
| - | '''译文''':
| + | |
| - | | + | |
| - | 与在deep learning中的通常情况一样,这个问题没有简单的解析解,而且情况变得更糟,正交规范化约束使得难以用梯度下降来优化求解目标——每次梯度下降迭代必须跟着一步将新的基映射回正交规范基空间中(因此来强制约束).
| + | |
| - | | + | |
| - | | + | |
| - | '''一审''':
| + | |
| - | | + | |
| - | 与在deep learning中的通常情况一样,这个问题没有简单的解析解.而且由于标准正交性约束,使得用梯度下降方法来求解该问题变得更加困难,因为每一轮迭代中,在梯度下降迭代之后,必须将新的基映射回正交基空间中(以此保证正交性约束).
| + | |
| - | | + | |
| - | | + | |
| - | '''原文''':
| + | |
| - | | + | |
| - | In practice, optimizing for the objective function while enforcing the orthonormality constraint (as described in [[Independent Component Analysis#Orthonormal ICA | Orthonormal ICA]] section below) is feasible but slow. Hence, the use of orthonormal ICA is limited to situations where it is important to obtain an orthonormal basis ([[TODO]]: what situations) .
| + | |
| - | | + | |
| - | | + | |
| - | '''译文''':
| + | |
| - | | + | |
| - | 在实践中,对目标函数优化的同时施加标准正交约束(正如在Orthonormal ICA 中描述的)是可行的,但是速度慢.因此,标准正交ICA的使用受限于必须得到一个标准正交基的条件.(TODO:什么条件)
| + | |
| - | | + | |
| - | | + | |
| - | '''一审''':
| + | |
| - | | + | |
| - | 在实践中,在最优化目标函数的同时施加正交性约束(在下一节Orthonormal ICA 中描述)是可行的,但是速度慢.由于获取正交基的重要性,标准正交ICA的使用受限于一些条件.(TODO:什么条件)
| + | |
| - | | + | |
| - | == Orthonormal ICA 标准正交ICA == | + | |
| - | | + | |
| - | '''原文''':
| + | |
| | | | |
| - | The orthonormal ICA objective is:
| + | 标准正交ICA的目标函数是： |
| | :<math> | | :<math> |
| | \begin{array}{rcl} | | \begin{array}{rcl} |
| Line 65: |
Line 36: |
| | </math> | | </math> |
| | | | |
| - | Observe that the constraint <math>WW^T = I</math> implies two other constraints.
| + | 通过观察可知，约束<math>WW^T = I</math>隐含着另外两个约束: |
| - | | + | 第一，因为要学习到一组标准正交基，所以基向量的个数必须小于输入数据的维度。具体来说，这意味着不能像通常在稀疏编码中所做的那样来学习得到超完备基（over-complete bases）。 |
| - | | + | 第二，数据必须经过无正则ZCA白化（也即,<math>\epsilon</math>设为0）。（为什么必须这样做？见[[TODO]]） |
| - | '''译文''':
| + | 因此，在优化标准正交ICA目标函数之前，必须确保数据被白化过，并且学习的是一组不完备基（under-complete basis）。 |
| - | | + | |
| - | 标准正交ICA的目标函数是:
| + | |
| - | :<math>
| + | |
| - | \begin{array}{rcl}
| + | |
| - | {\rm minimize} & \lVert Wx \rVert_1 \\
| + | |
| - | {\rm s.t.} & WW^T = I \\
| + | |
| - | \end{array}
| + | |
| - | </math>
| + | |
| - | | + | |
| - | 通过观察可知,约束<math>WW^T = I</math>隐含着另外两个约束.
| + | |
| - | | + | |
| - | '''一审''':
| + | |
| - | | + | |
| - | 标准正交ICA的目标函数是:
| + | |
| - | :<math>
| + | |
| - | \begin{array}{rcl}
| + | |
| - | {\rm minimize} & \lVert Wx \rVert_1 \\
| + | |
| - | {\rm s.t.} & WW^T = I \\
| + | |
| - | \end{array}
| + | |
| - | </math>
| + | |
| - | | + | |
| - | 通过观察可知,约束<math>WW^T = I</math>隐含着另外两个约束.
| + | |
| - | | + | |
| - | | + | |
| - | '''原文''':
| + | |
| - | | + | |
| - | Firstly, since we are learning an orthonormal basis, the number of basis vectors we learn must be less than the dimension of the input. In particular, this means that we cannot learn over-complete bases as we usually do in [[Sparse Coding: Autoencoder Interpretation | sparse coding]].
| + | |
| - | | + | |
| - | Secondly, the data must be [[Whitening | ZCA whitened]] with no regularization (that is, with <math>\epsilon</math> set to 0). ([[TODO]] Why must this be so?)
| + | |
| - | | + | |
| - | Hence, before we even begin to optimize for the orthonormal ICA objective, we must ensure that our data has been '''whitened''', and that we are learning an '''under-complete''' basis.
| + | |
| - | | + | |
| - | | + | |
| - | '''译文''':
| + | |
| - | | + | |
| - | 首先,因为我们正在学习一个标准正交基,所以我们学习的基向量的个数必须小于输入的维度.在实践中,这意味着不能象我们通常在稀疏编码中一样来学习过完备基.
| + | |
| - | 第二,数据必须是无正则项的ZCA白化(即,<math>\epsilon</math>设置为0).(TODO为什么必须这样做？)
| + | |
| - | 因此,在我们开始优化标准ICA目标函数之前,必须确保我们的数据已经被白化 .
| + | |
| - | | + | |
| - | | + | |
| - | '''一审''':
| + | |
| - | | + | |
| - | 第一,因为要学习到一组标准正交基,所以基向量的个数必须小于输入数据的维度.在实践中,这意味着不能像通常在稀疏编码中所做的那样来学习过完备基(over-complete bases).
| + | |
| - | 第二,数据必须经过无正则项ZCA白化(也即<math>\epsilon</math>设为0).(TODO为什么必须这样做？)
| + | |
| - | 也即,在优化标准正交ICA目标函数之前,必须确保数据被白化过,并且学习的是一组不完备基(under-complete basis).
| + | |
| - | | + | |
| | | | |
| | '''原文''': | | '''原文''': |
| Line 129: |
Line 54: |
| | | | |
| | | | |
| - | '''译文''':
| + | 然后，为了优化目标函数，我们可以使用梯度下降法，在梯度下降的每一步中增加投影步骤，以满足标准正交约束。过程如下： |
| - | | + | 重复以下步骤直到完成： |
| - | 然后,为了优化目标,我们可以使用梯度下降法,在梯度下降的每一步中增加投影步骤,以满足标准正交约束.因此,这个过程如下:
| + | |
| - | 重复直到完成:
| + | |
| | <ol> | | <ol> |
| | <li><math>W \leftarrow W - \alpha \nabla_W \lVert Wx \rVert_1</math> | | <li><math>W \leftarrow W - \alpha \nabla_W \lVert Wx \rVert_1</math> |
