深度网络概览

From Ufldl

Jump to: navigation, search
(局部极值问题)
 
Line 1: Line 1:
-
 
==概述==
==概述==
Line 38: Line 37:
===局部极值问题===
===局部极值问题===
-
使用监督学习方法来对浅层网络(只有一个隐藏层)进行训练通常能够使参数收敛到合理的范围内。但是当用这种方法来训练深度网络的时候,并不能取得很好的效果。特别的,使用监督学习方法训练神经网络时,通常会涉及到求解一个高度非凸的优化问题(例如最小化训练误差 <math>\textstyle \sum\nolimits_{i}{||{{h}_{W}}\left( {{x}^{\left( i \right)}}-{{y}^{\left( i \right)}} \right)|{{|}^{2}}}</math>,其中参数 <math>\textstyle W</math> 是要优化的参数。对深度网络而言,这种非凸优化问题的搜索区域中充斥着大量“坏”的局部极值,因而使用梯度下降法(或者像共轭梯度下降法,L-BFGS等方法)效果并不好。
+
使用监督学习方法来对浅层网络(只有一个隐藏层)进行训练通常能够使参数收敛到合理的范围内。但是当用这种方法来训练深度网络的时候,并不能取得很好的效果。特别的,使用监督学习方法训练神经网络时,通常会涉及到求解一个高度非凸的优化问题(例如最小化训练误差 <math>\textstyle \sum\nolimits_{i}{||{{h}_{W}}\left( {{x}^{\left( i \right)}} \right)-{{y}^{\left( i \right)}}|{{|}^{2}}}</math>,其中参数 <math>\textstyle W</math> 是要优化的参数。对深度网络而言,这种非凸优化问题的搜索区域中充斥着大量“坏”的局部极值,因而使用梯度下降法(或者像共轭梯度下降法,L-BFGS等方法)效果并不好。
-
 
+
===梯度弥散问题===
===梯度弥散问题===
Line 68: Line 66:
在下一节中,我们将会具体阐述如何进行逐层贪婪训练。
在下一节中,我们将会具体阐述如何进行逐层贪婪训练。
 +
 +
 +
==中英文对照==
 +
 +
:深度网络 Deep Networks
 +
 +
:深度神经网络  deep neural networks
 +
 +
:非线性变换  non-linear transformation
 +
 +
:激活函数  activation function
 +
 +
:简洁地表达  represent compactly
 +
 +
:“部分-整体”的分解  part-whole decompositions
 +
 +
:目标的部件  parts of objects
 +
 +
:高度非凸的优化问题    highly non-convex optimization problem
 +
 +
:共轭梯度    conjugate gradient
 +
 +
:梯度的弥散    diffusion of gradients
 +
 +
:逐层贪婪训练方法  Greedy layer-wise training
 +
 +
:自动编码器    autoencoder
 +
 +
:微调  fine-tuned
 +
 +
:自学习方法    self-taught learning
 +
Line 73: Line 103:
郑胤(yzheng3xg@gmail.com), 谭晓阳(x.tan@nuaa.edu.cn), 许利杰(csxulijie@gmail.com)
郑胤(yzheng3xg@gmail.com), 谭晓阳(x.tan@nuaa.edu.cn), 许利杰(csxulijie@gmail.com)
 +
 +
 +
 +
{{建立分类用深度网络}}
 +
 +
 +
{{Languages|Deep_Networks:_Overview|English}}

Latest revision as of 14:30, 17 April 2013

Personal tools