深度网络概览
From Ufldl
(→深度网络的优势) |
(→梯度弥散问题) |
||
| Line 40: | Line 40: | ||
| - | + | 与梯度弥散问题紧密相关的问题是：当神经网络中的最后几层含有足够数量神经元的时候，可能单独这几层就足以对有标签数据进行建模，而不用最初几层的帮助。因此，对所有层都使用随机初始化的方法训练得到的整个网络的性能将会与训练得到的浅层网络（仅由深度网络的最后几层组成的浅层网络）的性能相似。 | |
==逐层贪婪训练方法== | ==逐层贪婪训练方法== | ||
(→深度网络的优势) |
(→梯度弥散问题) |
||
| Line 40: | Line 40: | ||
| - | + | 与梯度弥散问题紧密相关的问题是：当神经网络中的最后几层含有足够数量神经元的时候，可能单独这几层就足以对有标签数据进行建模，而不用最初几层的帮助。因此，对所有层都使用随机初始化的方法训练得到的整个网络的性能将会与训练得到的浅层网络（仅由深度网络的最后几层组成的浅层网络）的性能相似。 | |
==逐层贪婪训练方法== | ==逐层贪婪训练方法== | ||
