深度网络概览
From Ufldl
(→局部极值问题) |
|||
Line 37: | Line 37: | ||
===局部极值问题=== | ===局部极值问题=== | ||
- | 使用监督学习方法来对浅层网络(只有一个隐藏层)进行训练通常能够使参数收敛到合理的范围内。但是当用这种方法来训练深度网络的时候,并不能取得很好的效果。特别的,使用监督学习方法训练神经网络时,通常会涉及到求解一个高度非凸的优化问题(例如最小化训练误差 <math>\textstyle \sum\nolimits_{i}{||{{h}_{W}}\left( {{x}^{\left( i \right)}}-{{y}^{\left( i \right)}} | + | 使用监督学习方法来对浅层网络(只有一个隐藏层)进行训练通常能够使参数收敛到合理的范围内。但是当用这种方法来训练深度网络的时候,并不能取得很好的效果。特别的,使用监督学习方法训练神经网络时,通常会涉及到求解一个高度非凸的优化问题(例如最小化训练误差 <math>\textstyle \sum\nolimits_{i}{||{{h}_{W}}\left( {{x}^{\left( i \right)}} \right)-{{y}^{\left( i \right)}}|{{|}^{2}}}</math>,其中参数 <math>\textstyle W</math> 是要优化的参数。对深度网络而言,这种非凸优化问题的搜索区域中充斥着大量“坏”的局部极值,因而使用梯度下降法(或者像共轭梯度下降法,L-BFGS等方法)效果并不好。 |
- | + | ||
===梯度弥散问题=== | ===梯度弥散问题=== | ||
Line 67: | Line 66: | ||
在下一节中,我们将会具体阐述如何进行逐层贪婪训练。 | 在下一节中,我们将会具体阐述如何进行逐层贪婪训练。 | ||
- | |||
- | |||
- | |||
Line 107: | Line 103: | ||
郑胤(yzheng3xg@gmail.com), 谭晓阳(x.tan@nuaa.edu.cn), 许利杰(csxulijie@gmail.com) | 郑胤(yzheng3xg@gmail.com), 谭晓阳(x.tan@nuaa.edu.cn), 许利杰(csxulijie@gmail.com) | ||
+ | |||
+ | |||
+ | |||
+ | {{建立分类用深度网络}} | ||
+ | |||
+ | |||
+ | {{Languages|Deep_Networks:_Overview|English}} |