栈式自编码算法
From Ufldl
Line 30: | Line 30: | ||
通过将 <math>\textstyle a^{(n)}</math> 作为softmax分类器的输入特征,可以将栈式自编码神经网络中学到的特征用于分类问题。 | 通过将 <math>\textstyle a^{(n)}</math> 作为softmax分类器的输入特征,可以将栈式自编码神经网络中学到的特征用于分类问题。 | ||
+ | |||
==训练== | ==训练== | ||
Line 44: | Line 45: | ||
如果你只对以分类为目的的微调感兴趣,那么惯用的做法是丢掉栈式自编码网络的“解码”层,直接把最后一个隐藏层的 <math>\textstyle a^{(n)}</math> 作为特征输入到softmax分类器进行分类,这样,分类器(softmax)的分类错误的梯度值就可以直接反向传播给编码层了。 | 如果你只对以分类为目的的微调感兴趣,那么惯用的做法是丢掉栈式自编码网络的“解码”层,直接把最后一个隐藏层的 <math>\textstyle a^{(n)}</math> 作为特征输入到softmax分类器进行分类,这样,分类器(softmax)的分类错误的梯度值就可以直接反向传播给编码层了。 | ||
+ | |||
==具体实例== | ==具体实例== | ||
Line 67: | Line 69: | ||
[[File:Stacked_Combined.png|500px]] | [[File:Stacked_Combined.png|500px]] | ||
+ | |||
==讨论== | ==讨论== | ||
Line 77: | Line 80: | ||
举个例子,如果网络的输入数据是图像,网络的第一层会学习如何去识别边,第二层一般会学习如何去组合边,从而构成轮廓、角等。更高层会学习如何去组合更形象且有意义的特征。例如,如果输入数据集包含人脸图像,更高层会学习如何识别或组合眼睛、鼻子、嘴等人脸器官。 | 举个例子,如果网络的输入数据是图像,网络的第一层会学习如何去识别边,第二层一般会学习如何去组合边,从而构成轮廓、角等。更高层会学习如何去组合更形象且有意义的特征。例如,如果输入数据集包含人脸图像,更高层会学习如何识别或组合眼睛、鼻子、嘴等人脸器官。 | ||
- | |||
- | |||
Line 111: | Line 112: | ||
张天雷(ztl2004@gmail.com), 邓亚峰(dengyafeng@gmail.com), 许利杰(csxulijie@gmail.com) | 张天雷(ztl2004@gmail.com), 邓亚峰(dengyafeng@gmail.com), 许利杰(csxulijie@gmail.com) | ||
+ | |||
+ | |||
+ | |||
+ | {{建立分类用深度网络}} | ||
+ | |||
+ | |||
+ | {{Languages|Stacked_Autoencoders|English}} |