栈式自编码算法

From Ufldl

Jump to: navigation, search
(中英对照)
 
Line 30: Line 30:
通过将 <math>\textstyle a^{(n)}</math> 作为softmax分类器的输入特征,可以将栈式自编码神经网络中学到的特征用于分类问题。
通过将 <math>\textstyle a^{(n)}</math> 作为softmax分类器的输入特征,可以将栈式自编码神经网络中学到的特征用于分类问题。
 +
==训练==
==训练==
Line 44: Line 45:
如果你只对以分类为目的的微调感兴趣,那么惯用的做法是丢掉栈式自编码网络的“解码”层,直接把最后一个隐藏层的 <math>\textstyle a^{(n)}</math> 作为特征输入到softmax分类器进行分类,这样,分类器(softmax)的分类错误的梯度值就可以直接反向传播给编码层了。
如果你只对以分类为目的的微调感兴趣,那么惯用的做法是丢掉栈式自编码网络的“解码”层,直接把最后一个隐藏层的 <math>\textstyle a^{(n)}</math> 作为特征输入到softmax分类器进行分类,这样,分类器(softmax)的分类错误的梯度值就可以直接反向传播给编码层了。
 +
==具体实例==
==具体实例==
Line 67: Line 69:
[[File:Stacked_Combined.png|500px]]
[[File:Stacked_Combined.png|500px]]
 +
==讨论==
==讨论==
Line 77: Line 80:
举个例子,如果网络的输入数据是图像,网络的第一层会学习如何去识别边,第二层一般会学习如何去组合边,从而构成轮廓、角等。更高层会学习如何去组合更形象且有意义的特征。例如,如果输入数据集包含人脸图像,更高层会学习如何识别或组合眼睛、鼻子、嘴等人脸器官。
举个例子,如果网络的输入数据是图像,网络的第一层会学习如何去识别边,第二层一般会学习如何去组合边,从而构成轮廓、角等。更高层会学习如何去组合更形象且有意义的特征。例如,如果输入数据集包含人脸图像,更高层会学习如何识别或组合眼睛、鼻子、嘴等人脸器官。
-
==中英对照==
 
-
自编码器(Autoencoder)
 
-
逐层贪婪训练法 (Greedy layer-wise training)
+
==中英文对照==
-
预训练(PreTrain)
+
:自编码器  Autoencoder
-
栈式自编码神经网络(stacked autoencoder)
+
:逐层贪婪训练法  Greedy layer-wise training
-
微调(fine-tuning)
+
:预训练  PreTrain
-
原始输入(raw inputs)
+
:栈式自编码神经网络  Stacked autoencoder
-
层次型分组(hierarchical grouping)
+
:微调  Fine-tuning
-
部分-整体分解(part-whole decomposition)
+
:原始输入  Raw inputs
-
一阶特征(first-order features)
+
:层次型分组  Hierarchical grouping
-
二阶特征(second-order features)
+
:部分-整体分解  Part-whole decomposition
-
更高阶特征(higher-order features)
+
:一阶特征  First-order features
 +
 
 +
:二阶特征  Second-order features
 +
 
 +
:更高阶特征  Higher-order features
 +
 
 +
:激活值  Activation
-
激活值 (activation)
 
==中文译者==
==中文译者==
-
初译@小猴机器人
+
 
-
一审@邓亚峰-人脸识别
+
张天雷(ztl2004@gmail.com), 邓亚峰(dengyafeng@gmail.com), 许利杰(csxulijie@gmail.com)
-
终审@JerryLead
+
 
 +
 
 +
 
 +
{{建立分类用深度网络}}
 +
 
 +
 
 +
{{Languages|Stacked_Autoencoders|English}}

Latest revision as of 05:15, 8 April 2013

Personal tools