微调多层自编码算法
From Ufldl
(→一般策略) |
(→使用反向传播法微调) |
||
Line 6: | Line 6: | ||
幸运的是,实施微调栈式自编码神经网络所需的工具都已齐备!为了在每次迭代中计算所有层的梯度,我们需要使用稀疏自动编码一节中讨论的[[反向传播算法]]。因为反向传播算法可以延伸应用到任意多层,所以事实上,该算法对任意多层的栈式自编码神经网络都适用。 | 幸运的是,实施微调栈式自编码神经网络所需的工具都已齐备!为了在每次迭代中计算所有层的梯度,我们需要使用稀疏自动编码一节中讨论的[[反向传播算法]]。因为反向传播算法可以延伸应用到任意多层,所以事实上,该算法对任意多层的栈式自编码神经网络都适用。 | ||
- | == | + | ==使用反向传播法进行微调== |
为方便读者,以下我们简要描述如何实施反向传播算法: | 为方便读者,以下我们简要描述如何实施反向传播算法: | ||
Line 44: | Line 44: | ||
注:我们可以认为输出层softmax分类器是附加上的一层,但是其推导需要分别处理。具体地说,网络“最后一层”的特征会进入softmax分类器。所以,第二步中的导数由 <math>\delta^{(n_l)} = - (\nabla_{a^{n_l}}J) \bullet f'(z^{(n_l)})</math> 计算,其中 <math>\nabla J = \theta^T(I-P)</math>。 | 注:我们可以认为输出层softmax分类器是附加上的一层,但是其推导需要分别处理。具体地说,网络“最后一层”的特征会进入softmax分类器。所以,第二步中的导数由 <math>\delta^{(n_l)} = - (\nabla_{a^{n_l}}J) \bullet f'(z^{(n_l)})</math> 计算,其中 <math>\nabla J = \theta^T(I-P)</math>。 | ||
}} | }} | ||
- | |||
==中英文对照== | ==中英文对照== |