Linear Decoders
From Ufldl
(→Linear Decoder) |
(→Linear Decoder) |
||
| Line 99: | Line 99: | ||
【一校】： | 【一校】： | ||
| - | 设定<math>a^{(3)} = z^{(3)}</math>可以很简单的解决上述问题。从形式上来看，就是输出端使用恒等函数<math>f(z) = z</math>作为激励函数，于是有<math>a^{(3)} = f(z^{(3)}) = z^{(3)}</math>。我们称该特殊的激励函数为 '''线性激励函数 ''' | + | 设定<math>a^{(3)} = z^{(3)}</math>可以很简单的解决上述问题。从形式上来看，就是输出端使用恒等函数<math>f(z) = z</math>作为激励函数，于是有<math>a^{(3)} = f(z^{(3)}) = z^{(3)}</math>。我们称该特殊的激励函数为 '''线性激励函数 '''（称为恒等激励函数可能更好些）。 |
需要注意，神经网络中隐含层的神经元依然使用S型（或者tanh）激励函数。这样隐含单元的激励公式为 <math>\textstyle a^{(2)} = \sigma(W^{(1)}x + b^{(1)})</math> ,其中<math>\sigma(\cdot)</math> 是S型函数, <math>x</math> 是输入, <math>W^{(1)}</math> 和<math>b^{(1)}</math> 分别是隐单元的权重和偏差项。我们仅在输出层中使用线性激励函数。 | 需要注意，神经网络中隐含层的神经元依然使用S型（或者tanh）激励函数。这样隐含单元的激励公式为 <math>\textstyle a^{(2)} = \sigma(W^{(1)}x + b^{(1)})</math> ,其中<math>\sigma(\cdot)</math> 是S型函数, <math>x</math> 是输入, <math>W^{(1)}</math> 和<math>b^{(1)}</math> 分别是隐单元的权重和偏差项。我们仅在输出层中使用线性激励函数。 | ||
