稀疏自编码重述
From Ufldl
(→Sparse Autoencoder Recap[稀疏自编码重述]) |
|||
| Line 18: | Line 18: | ||
在稀疏自编码中，有三层：输入层，隐含层和输出层。在之前对自编码的定义（在神经网络中），位于神经网络中的每个神经元采用相同激励机制。在这些记录中，我们描述了一个修改版的自编码，其中一些神经元采用另外的激励机制。这产生一个更简易于应用，针对参数变化稳健性更佳的模型。 | 在稀疏自编码中，有三层：输入层，隐含层和输出层。在之前对自编码的定义（在神经网络中），位于神经网络中的每个神经元采用相同激励机制。在这些记录中，我们描述了一个修改版的自编码，其中一些神经元采用另外的激励机制。这产生一个更简易于应用，针对参数变化稳健性更佳的模型。 | ||
| - | : | + | :【一审】： |
稀疏自编码器包含3层神经元，分别是输入层，隐含层以及输出层。 | 稀疏自编码器包含3层神经元，分别是输入层，隐含层以及输出层。 | ||
| Line 49: | Line 49: | ||
</math> | </math> | ||
| - | + | 这里 <math>a^{(3)}</math> 是输出. 在自编码中, <math>a^{(3)}</math> 是对输入<math>x = a^{(1)}</math>的近似重建。 | |
| - | : | + | :【一审】： |
回想一下，输出层神经元计算公式如下： | 回想一下，输出层神经元计算公式如下： | ||
| Line 62: | Line 62: | ||
</math> | </math> | ||
| - | + | 其中 <math>a^{(3)}</math> 是输出. 在自编码器中, <math>a^{(3)}</math> 近似重构了输入<math>x = a^{(1)}</math>。 | |
| Line 76: | Line 76: | ||
对于 <math>f(z^{(3)})</math>采用一个S型激励函数后，因S型函数输出值域为 <math>[0,1]</math>，需限制输入的范围为 <math>[0,1]</math>。有一些数据组，例如MNIST手写数字库中其输入输出范围符合极佳，但这种情况难以满足。例如，若采用PCA白化，输入将不再限制于 <math>[0,1]</math>，虽可通过缩放数据来确保其符合特定范围内，显然，这不是最好的方式。 | 对于 <math>f(z^{(3)})</math>采用一个S型激励函数后，因S型函数输出值域为 <math>[0,1]</math>，需限制输入的范围为 <math>[0,1]</math>。有一些数据组，例如MNIST手写数字库中其输入输出范围符合极佳，但这种情况难以满足。例如，若采用PCA白化，输入将不再限制于 <math>[0,1]</math>，虽可通过缩放数据来确保其符合特定范围内，显然，这不是最好的方式。 | ||
| - | : | + | :【一审】： |
S型激励函数输出范围是<math>[0,1]</math>，当<math>f(z^{(3)})</math>采用该激励函数时，就要对输入限制或缩放，使其位于<math>[0,1]</math>范围中。一些数据集，比如MNIST，能方便将输出缩放到[0,1]中，但是很难满足对输入值的要求。比如，PCA白化处理的输入并不满足<math>[0,1]</math>范围要求，也不清楚是否有最好的办法可以将数据缩放到特定范围中。 | S型激励函数输出范围是<math>[0,1]</math>，当<math>f(z^{(3)})</math>采用该激励函数时，就要对输入限制或缩放，使其位于<math>[0,1]</math>范围中。一些数据集，比如MNIST，能方便将输出缩放到[0,1]中，但是很难满足对输入值的要求。比如，PCA白化处理的输入并不满足<math>[0,1]</math>范围要求，也不清楚是否有最好的办法可以将数据缩放到特定范围中。 | ||
