栈式自编码算法

From Ufldl

Jump to: navigation, search
Line 1: Line 1:
 +
==概述==
==概述==
Line 30: Line 31:
通过将 <math>\textstyle a^{(n)}</math> 作为softmax分类器的输入特征,可以将栈式自编码神经网络中学到的特征用于分类问题。
通过将 <math>\textstyle a^{(n)}</math> 作为softmax分类器的输入特征,可以将栈式自编码神经网络中学到的特征用于分类问题。
 +
==训练==
==训练==
Line 44: Line 46:
如果你只对以分类为目的的微调感兴趣,那么惯用的做法是丢掉栈式自编码网络的“解码”层,直接把最后一个隐藏层的 <math>\textstyle a^{(n)}</math> 作为特征输入到softmax分类器进行分类,这样,分类器(softmax)的分类错误的梯度值就可以直接反向传播给编码层了。
如果你只对以分类为目的的微调感兴趣,那么惯用的做法是丢掉栈式自编码网络的“解码”层,直接把最后一个隐藏层的 <math>\textstyle a^{(n)}</math> 作为特征输入到softmax分类器进行分类,这样,分类器(softmax)的分类错误的梯度值就可以直接反向传播给编码层了。
 +
==具体实例==
==具体实例==
Line 67: Line 70:
[[File:Stacked_Combined.png|500px]]
[[File:Stacked_Combined.png|500px]]
 +
==讨论==
==讨论==
Line 77: Line 81:
举个例子,如果网络的输入数据是图像,网络的第一层会学习如何去识别边,第二层一般会学习如何去组合边,从而构成轮廓、角等。更高层会学习如何去组合更形象且有意义的特征。例如,如果输入数据集包含人脸图像,更高层会学习如何识别或组合眼睛、鼻子、嘴等人脸器官。
举个例子,如果网络的输入数据是图像,网络的第一层会学习如何去识别边,第二层一般会学习如何去组合边,从而构成轮廓、角等。更高层会学习如何去组合更形象且有意义的特征。例如,如果输入数据集包含人脸图像,更高层会学习如何识别或组合眼睛、鼻子、嘴等人脸器官。
-
 
-
{{CNN}}
 
Line 111: Line 113:
张天雷(ztl2004@gmail.com), 邓亚峰(dengyafeng@gmail.com), 许利杰(csxulijie@gmail.com)
张天雷(ztl2004@gmail.com), 邓亚峰(dengyafeng@gmail.com), 许利杰(csxulijie@gmail.com)
 +
 +
 +
 +
{{CNN}}
 +
 +
 +
{{Languages|Stacked_Autoencoders|English}}

Revision as of 13:32, 7 April 2013

Personal tools