|
|
| Line 5: |
Line 5: |
| | '''一审''':@晓风_机器学习 | | '''一审''':@晓风_机器学习 |
| | | | |
| - | == Introduction介绍 == | + | == 概述 == |
| | | | |
| - | 试着回想一下，在介绍稀疏编码算法中我们想为样本数据学习得到一个超完备基（over-complete basis）。具体来说，这意味着用稀疏编码学习得到的基向量之间不一定线性独立。尽管在某些情况下这已经满足需要，但有时我们仍然希望得到的是一组线性独立基。独立成分分析算法（ICA）正实现了这一点。而且，在ICA中，我们希望学习到的基不仅要线性独立，而且还是一组标准正交基。（一组标准正交基<math>(\phi_1, \ldots \phi_n)</math>需要满足条件：<math>\phi_i \cdot \phi_j = 0</math>（如果<math>i \ne j</math>）或者<math>\phi_i \cdot \phi_j = 1</math>（如果i = j） | + | 试着回想一下，在介绍稀疏编码算法中我们想为样本数据学习得到一个超完备基（over-complete basis）。具体来说，这意味着用稀疏编码学习得到的基向量之间不一定线性独立。尽管在某些情况下这已经满足需要，但有时我们仍然希望得到的是一组线性独立基。独立成分分析算法（ICA）正实现了这一点。而且，在ICA中，我们希望学习到的基不仅要线性独立，而且还是一组标准正交基。（一组标准正交基<math>(\phi_1, \ldots \phi_n)</math>需要满足条件：<math>\phi_i \cdot \phi_j = 0</math>（如果<math>i \ne j</math>）或者<math>\phi_i \cdot \phi_j = 1</math>（如果<math>i = j</math>）） |
| - | | + | |
| - | '''原文''':
| + | |
| - | | + | |
| - | Like sparse coding, independent component analysis has a simple mathematical formulation. Given some data <math>x</math>, we would like to learn a set of basis vectors which we represent in the columns of a matrix <math>W</math>, such that, firstly, as in sparse coding, our features are '''sparse'''; and secondly, our basis is an '''orthonormal''' basis. (Note that while in sparse coding, our matrix <math>A</math> was for mapping '''features''' <math>s</math> to '''raw data''', in independent component analysis, our matrix <math>W</math> works in the opposite direction, mapping '''raw data''' <math>x</math> to '''features''' instead). This gives us the following objective function:
| + | |
| | | | |
| | + | 与稀疏编码算法类似，独立成分分析也有一个简单的数学形式。给定数据x，我们希望学习得到一组基向量――以列向量形式构成的矩阵<math>W</math>，其满足以下特点：首先，与稀疏编码一样，特征是稀疏的；其次，基是标准正交的（注意，在稀疏编码中，矩阵<math>A</math>用于将特征<math>s</math>映射到原始数据，而在独立成分分析中，矩阵<math>W</math>工作的方向相反，是将原始数据<math>x</math>映射到特征）。这样我们得到以下目标函数： |
| | :<math> | | :<math> |
| | J(W) = \lVert Wx \rVert_1 | | J(W) = \lVert Wx \rVert_1 |
| | </math> | | </math> |
| | | | |
| - |
| + | 由于<math>Wx</math>实际上是描述样本数据的特征，这个目标函数等价于在稀疏编码中特征<math>s</math>的稀疏惩罚项。加入标准正交性约束后，独立成分分析相当于求解如下优化问题： |
| - | '''译文''':
| + | |
| - | 和稀疏编码一样,独立成分分析有一个简单的数学形式.给定数据<math>x</math>, 我们希望学习一个基向量集合,表示成一个矩阵<math>W</math>的列向量, 其满足以下特点:首先,和稀疏编码一样,特征是稀疏的；其次,基是一个“标准正交”基.(注意,在稀疏编码中,矩阵<math>A</math>用于将特征<math>s</math>映射到“原始数据”, 而在独立成分分析中,矩阵<math>W</math> 工作的方向相反,是将“原始数据”<math>x</math>映射到“特征”).这样我们得到以下目标函数:
| + | |
| - | | + | |
| - | :<math>
| + | |
| - | J(W) = \lVert Wx \rVert_1
| + | |
| - | </math> | + | |
| - | | + | |
| - | | + | |
| - | '''一审''':
| + | |
| - | | + | |
| - | 和稀疏编码类似,独立成分分析也有一个简单的数学形式.给定数据<math>x</math>,我们希望学习到一组基向量,以列向量的形式构成矩阵<math>W</math>,其满足以下特点:首先,和稀疏编码一样,特征是稀疏的；其次,基是标准正交的(注意,在稀疏编码中,矩阵<math>A</math>用于将特征<math>s</math>映射到原始数据,而在独立成分分析中,矩阵<math>W</math>工作的方向相反,是将原始数据<math>x</math>映射到特征).这样我们得到以下目标函数:
| + | |
| - | | + | |
| - | :<math>
| + | |
| - | J(W) = \lVert Wx \rVert_1
| + | |
| - | </math>
| + | |
| - | | + | |
| - | | + | |
| - | '''原文''':
| + | |
| - | This objective function is equivalent to the sparsity penalty on the features <math>s</math> in sparse coding, since <math>Wx</math> is precisely the features that represent the data. Adding in the orthonormality constraint gives us the full optimization problem for independent component analysis:
| + | |
| | | | |
| | :<math> | | :<math> |
| Line 45: |
Line 23: |
| | </math> | | </math> |
| | | | |
| - |
| |
| - | '''译文''':
| |
| - |
| |
| - | 这个目标函数等价于在稀疏编码中施加在特征<math>s</math>上的稀疏性惩罚,因为<math>Wx</math>正是表达数据的特征.我们加入标准正交约束来求解独立成分分析的全优化问题:
| |
| - |
| |
| - | :<math>
| |
| - | \begin{array}{rcl}
| |
| - | {\rm minimize} & \lVert Wx \rVert_1 \\
| |
| - | {\rm s.t.} & WW^T = I \\
| |
| - | \end{array}
| |
| - | </math>
| |
| - |
| |
| - |
| |
| - | '''一审''':
| |
| - |
| |
| - | 由于<math>Wx</math>实际上是描述数据的特征,这个目标函数等价于在稀疏编码中在特征<math>s</math>上加上稀疏惩罚.加入标准正交性约束后,独立成分分析相当于求解如下优化问题:
| |
| - |
| |
| - | :<math>
| |
| - | \begin{array}{rcl}
| |
| - | {\rm minimize} & \lVert Wx \rVert_1 \\
| |
| - | {\rm s.t.} & WW^T = I \\
| |
| - | \end{array}
| |
| - | </math>
| |
| - |
| |
| | | | |
| | '''原文''': | | '''原文''': |
