自编码算法与稀疏性
From Ufldl
| Line 58: | Line 58: | ||
【一审】 | 【一审】 | ||
| - | 自编码算法要做的是学习得到一个函数 <math>\textstyle h_{W,b}(x) \approx x</math> 。换句话说，就是要为这个恒等函式学习找到一个近似值，从而使得输出 <math>\textstyle \hat{x}</math> 接近于输入 <math>\textstyle x</math> 。虽然学习这个恒等函式看起来是非常繁琐的事，但是通过对这个神经网络加入某些限制，比如限定隐藏层神经元的数量，我们就可以从输入数据中发现一些有趣的结构。举例来说，假设某个自编码神经网络的输入 <math>\textstyle x</math> 是一张分辨率为 <math>\textstyle 10 \times 10</math> 的图像（100个像素点），于是 <math>\textstyle n=100</math> ，其隐藏层 <math>\textstyle L_2</math> 中有50个隐藏神经元 ，注意 。由于只有50个隐藏神经元，就迫使神经网络要为输入值学习获取一个'''经过压缩的'''表示方式。也就是说，给定一个隐藏层的激活向量 <math>\textstyle a^{(2)} \in \Re^{50}</math> ，必须对有100个像素值的输入 <math>\textstyle x</math> | + | 自编码算法要做的是学习得到一个函数 <math>\textstyle h_{W,b}(x) \approx x</math> 。换句话说，就是要为这个恒等函式学习找到一个近似值，从而使得输出 <math>\textstyle \hat{x}</math> 接近于输入 <math>\textstyle x</math> 。虽然学习这个恒等函式看起来是非常繁琐的事，但是通过对这个神经网络加入某些限制，比如限定隐藏层神经元的数量，我们就可以从输入数据中发现一些有趣的结构。举例来说，假设某个自编码神经网络的输入 <math>\textstyle x</math> 是一张分辨率为 <math>\textstyle 10 \times 10</math> 的图像（100个像素点），于是 <math>\textstyle n=100</math> ，其隐藏层 <math>\textstyle L_2</math> 中有50个隐藏神经元 ，注意 。由于只有50个隐藏神经元，就迫使神经网络要为输入值学习获取一个'''经过压缩的'''表示方式。也就是说，给定一个隐藏层的激活向量 <math>\textstyle a^{(2)} \in \Re^{50}</math> ，必须对有100个像素值的输入 <math>\textstyle x</math> 进行'''重构'''。如果输入是随机的――即，每个 <math>\textstyle x_i</math> 都彼此独立，并服从独立同高斯分布――那么这种压缩工作就会变得异常困难。但是，如果样本数据内部存在某种相关结构，比如，如果输入数据中某些特征变量是相关的，那么这种算法就可以找出这些相关关系。事实上，这种基本的自编码算法通常就能学习得到一个低维度的数据表现方式，它跟主成分分析方法很像。 |
【二审】 | 【二审】 | ||
自编码神经网络尝试学习一个 <math>\textstyle h_{W,b}(x) \approx x</math> 的函数。换句话说，它尝试逼近一个恒等函数，从而使得输出 <math>\textstyle \hat{x}</math> 接近于输入 <math>\textstyle x</math> 。恒等函数虽然看上去不太有学习的意义，但是当我们为自编码神经网络加入某些限制，比如限定隐藏神经元的数量，我们就可以从输入数据中发现一些有趣的结构。举例来说，假设某个自编码神经网络的输入 <math>\textstyle x</math> 是一张 <math>\textstyle 10 \times 10</math> 图像（共100个像素）的像素灰度值，于是 <math>\textstyle n=100</math> ，其隐藏层 <math>\textstyle L_2</math> 中有50个隐藏神经元。注意，输出也是100维的 <math>\textstyle y \in \Re^{100}</math> 。由于只有50个隐藏神经元，我们迫使自编码神经网络去学习输入数据的'''压缩'''表示，也就是说，它必须从50维的隐藏神经元激活度向量 <math>\textstyle a^{(2)} \in \Re^{50}</math> 中'''重构'''出100维的像素灰度值输入 <math>\textstyle x</math> 。如果网络的输入数据是完全随机的，比如每一个输入 <math>\textstyle x_i</math> 都是一个跟其它特征完全无关的独立同分布高斯随机变量，那么这一压缩表示将会非常难学习。但是如果输入数据中隐含着一些特定的结构，比如某些输入特征是彼此相关的，那么这一算法就可以发现输入数据中的这些相关性。事实上，这一简单的自编码神经网络通常可以学习出一个跟主元分析（PCA）结果非常相似的输入数据的低维表示。 | 自编码神经网络尝试学习一个 <math>\textstyle h_{W,b}(x) \approx x</math> 的函数。换句话说，它尝试逼近一个恒等函数，从而使得输出 <math>\textstyle \hat{x}</math> 接近于输入 <math>\textstyle x</math> 。恒等函数虽然看上去不太有学习的意义，但是当我们为自编码神经网络加入某些限制，比如限定隐藏神经元的数量，我们就可以从输入数据中发现一些有趣的结构。举例来说，假设某个自编码神经网络的输入 <math>\textstyle x</math> 是一张 <math>\textstyle 10 \times 10</math> 图像（共100个像素）的像素灰度值，于是 <math>\textstyle n=100</math> ，其隐藏层 <math>\textstyle L_2</math> 中有50个隐藏神经元。注意，输出也是100维的 <math>\textstyle y \in \Re^{100}</math> 。由于只有50个隐藏神经元，我们迫使自编码神经网络去学习输入数据的'''压缩'''表示，也就是说，它必须从50维的隐藏神经元激活度向量 <math>\textstyle a^{(2)} \in \Re^{50}</math> 中'''重构'''出100维的像素灰度值输入 <math>\textstyle x</math> 。如果网络的输入数据是完全随机的，比如每一个输入 <math>\textstyle x_i</math> 都是一个跟其它特征完全无关的独立同分布高斯随机变量，那么这一压缩表示将会非常难学习。但是如果输入数据中隐含着一些特定的结构，比如某些输入特征是彼此相关的，那么这一算法就可以发现输入数据中的这些相关性。事实上，这一简单的自编码神经网络通常可以学习出一个跟主元分析（PCA）结果非常相似的输入数据的低维表示。 | ||
