|
|
Line 5: |
Line 5: |
| '''一审''':@晓风_机器学习 | | '''一审''':@晓风_机器学习 |
| | | |
- | == Introduction介绍 == | + | == 概述 == |
| | | |
- | 试着回想一下,在介绍稀疏编码算法中我们想为样本数据学习得到一个超完备基(over-complete basis)。具体来说,这意味着用稀疏编码学习得到的基向量之间不一定线性独立。尽管在某些情况下这已经满足需要,但有时我们仍然希望得到的是一组线性独立基。独立成分分析算法(ICA)正实现了这一点。而且,在ICA中,我们希望学习到的基不仅要线性独立,而且还是一组标准正交基。(一组标准正交基<math>(\phi_1, \ldots \phi_n)</math>需要满足条件:<math>\phi_i \cdot \phi_j = 0</math>(如果<math>i \ne j</math>)或者<math>\phi_i \cdot \phi_j = 1</math>(如果i = j) | + | 试着回想一下,在介绍稀疏编码算法中我们想为样本数据学习得到一个超完备基(over-complete basis)。具体来说,这意味着用稀疏编码学习得到的基向量之间不一定线性独立。尽管在某些情况下这已经满足需要,但有时我们仍然希望得到的是一组线性独立基。独立成分分析算法(ICA)正实现了这一点。而且,在ICA中,我们希望学习到的基不仅要线性独立,而且还是一组标准正交基。(一组标准正交基<math>(\phi_1, \ldots \phi_n)</math>需要满足条件:<math>\phi_i \cdot \phi_j = 0</math>(如果<math>i \ne j</math>)或者<math>\phi_i \cdot \phi_j = 1</math>(如果<math>i = j</math>)) |
- | | + | |
- | '''原文''':
| + | |
- | | + | |
- | Like sparse coding, independent component analysis has a simple mathematical formulation. Given some data <math>x</math>, we would like to learn a set of basis vectors which we represent in the columns of a matrix <math>W</math>, such that, firstly, as in sparse coding, our features are '''sparse'''; and secondly, our basis is an '''orthonormal''' basis. (Note that while in sparse coding, our matrix <math>A</math> was for mapping '''features''' <math>s</math> to '''raw data''', in independent component analysis, our matrix <math>W</math> works in the opposite direction, mapping '''raw data''' <math>x</math> to '''features''' instead). This gives us the following objective function:
| + | |
| | | |
| + | 与稀疏编码算法类似,独立成分分析也有一个简单的数学形式。给定数据x,我们希望学习得到一组基向量――以列向量形式构成的矩阵<math>W</math>,其满足以下特点:首先,与稀疏编码一样,特征是稀疏的;其次,基是标准正交的(注意,在稀疏编码中,矩阵<math>A</math>用于将特征<math>s</math>映射到原始数据,而在独立成分分析中,矩阵<math>W</math>工作的方向相反,是将原始数据<math>x</math>映射到特征)。这样我们得到以下目标函数: |
| :<math> | | :<math> |
| J(W) = \lVert Wx \rVert_1 | | J(W) = \lVert Wx \rVert_1 |
| </math> | | </math> |
| | | |
- |
| + | 由于<math>Wx</math>实际上是描述样本数据的特征,这个目标函数等价于在稀疏编码中特征<math>s</math>的稀疏惩罚项。加入标准正交性约束后,独立成分分析相当于求解如下优化问题: |
- | '''译文''':
| + | |
- | 和稀疏编码一样,独立成分分析有一个简单的数学形式.给定数据<math>x</math>, 我们希望学习一个基向量集合,表示成一个矩阵<math>W</math>的列向量, 其满足以下特点:首先,和稀疏编码一样,特征是稀疏的;其次,基是一个“标准正交”基.(注意,在稀疏编码中,矩阵<math>A</math>用于将特征<math>s</math>映射到“原始数据”, 而在独立成分分析中,矩阵<math>W</math> 工作的方向相反,是将“原始数据”<math>x</math>映射到“特征”).这样我们得到以下目标函数:
| + | |
- | | + | |
- | :<math>
| + | |
- | J(W) = \lVert Wx \rVert_1
| + | |
- | </math> | + | |
- | | + | |
- | | + | |
- | '''一审''':
| + | |
- | | + | |
- | 和稀疏编码类似,独立成分分析也有一个简单的数学形式.给定数据<math>x</math>,我们希望学习到一组基向量,以列向量的形式构成矩阵<math>W</math>,其满足以下特点:首先,和稀疏编码一样,特征是稀疏的;其次,基是标准正交的(注意,在稀疏编码中,矩阵<math>A</math>用于将特征<math>s</math>映射到原始数据,而在独立成分分析中,矩阵<math>W</math>工作的方向相反,是将原始数据<math>x</math>映射到特征).这样我们得到以下目标函数:
| + | |
- | | + | |
- | :<math>
| + | |
- | J(W) = \lVert Wx \rVert_1
| + | |
- | </math>
| + | |
- | | + | |
- | | + | |
- | '''原文''':
| + | |
- | This objective function is equivalent to the sparsity penalty on the features <math>s</math> in sparse coding, since <math>Wx</math> is precisely the features that represent the data. Adding in the orthonormality constraint gives us the full optimization problem for independent component analysis:
| + | |
| | | |
| :<math> | | :<math> |
Line 45: |
Line 23: |
| </math> | | </math> |
| | | |
- |
| |
- | '''译文''':
| |
- |
| |
- | 这个目标函数等价于在稀疏编码中施加在特征<math>s</math>上的稀疏性惩罚,因为<math>Wx</math>正是表达数据的特征.我们加入标准正交约束来求解独立成分分析的全优化问题:
| |
- |
| |
- | :<math>
| |
- | \begin{array}{rcl}
| |
- | {\rm minimize} & \lVert Wx \rVert_1 \\
| |
- | {\rm s.t.} & WW^T = I \\
| |
- | \end{array}
| |
- | </math>
| |
- |
| |
- |
| |
- | '''一审''':
| |
- |
| |
- | 由于<math>Wx</math>实际上是描述数据的特征,这个目标函数等价于在稀疏编码中在特征<math>s</math>上加上稀疏惩罚.加入标准正交性约束后,独立成分分析相当于求解如下优化问题:
| |
- |
| |
- | :<math>
| |
- | \begin{array}{rcl}
| |
- | {\rm minimize} & \lVert Wx \rVert_1 \\
| |
- | {\rm s.t.} & WW^T = I \\
| |
- | \end{array}
| |
- | </math>
| |
- |
| |
| | | |
| '''原文''': | | '''原文''': |