稀疏编码自编码表达
From Ufldl
Line 1: | Line 1: | ||
- | == [稀疏编码] == | + | == [ 稀疏编码 ] == |
- | 在稀疏自编码算法中,我们试着学习得到一组权重参数<math>W</math>(以及相应的截距<math>b</math>),通过这些参数可以使我们得到稀疏特征向量<math>\sigma(Wx + b)</math> ,这些特征向量对于重构输入样本非常有用。 | + | |
+ | 在稀疏自编码算法中,我们试着学习得到一组权重参数<math>W</math>(以及相应的截距<math>b</math>),通过这些参数可以使我们得到稀疏特征向量<math>\sigma(Wx + b)</math> ,这些特征向量对于重构输入样本非常有用。 | ||
[[File:STL_SparseAE.png | 240px]] | [[File:STL_SparseAE.png | 240px]] | ||
- | 稀疏编码可以看作是稀疏自编码方法的一个变形,该方法试图直接学习数据的特征集。利用与此特征集相应的基向量,将学习得到的特征集从特征空间转换到样本数据空间,这样我们就可以用学习得到的特征集重构样本数据。 | + | 稀疏编码可以看作是稀疏自编码方法的一个变形,该方法试图直接学习数据的特征集。利用与此特征集相应的基向量,将学习得到的特征集从特征空间转换到样本数据空间,这样我们就可以用学习得到的特征集重构样本数据。 |
确切地说,在稀疏编码算法中,有样本数据<math>x</math>供我们进行特征学习。特别是,学习一个用于表示样本数据的稀疏特征集<math>s</math>, 和一个将特征集从特征空间转换到样本数据空间的基向量<math>A</math>, 我们可以构建如下目标函数: | 确切地说,在稀疏编码算法中,有样本数据<math>x</math>供我们进行特征学习。特别是,学习一个用于表示样本数据的稀疏特征集<math>s</math>, 和一个将特征集从特征空间转换到样本数据空间的基向量<math>A</math>, 我们可以构建如下目标函数: |