深度网络概览
From Ufldl
(→概述) |
|||
Line 1: | Line 1: | ||
==概述== | ==概述== | ||
- | + | 在之前的章节中,你已经构建了一个包括输入层、隐藏层以及输出层的三层神经网络。虽然该网络对于MNIST手写数字数据库非常有效,但是它还是一个非常“浅”的网络。这里的“浅”指的是特征(隐藏层的激活值 <math>\textstyle {a}^{(2)}</math>)只是用一层计算单元(隐藏层)来得到的。 | |
Line 8: | Line 8: | ||
值得注意的是当训练深度网络的时候,每一层隐层应该使用非线性的激活函数 <math>\textstyle f(x)</math>。这是因为多层的线性函数组合在一起本质上也只有线性函数的表达能力(例如,将多个线性方程组合在一起仅仅产生另一个线性方程)。因此,在激活函数是线性的情况下,相比于单隐藏层神经网络,包含多隐藏层的深度网络并没有增加表达能力。 | 值得注意的是当训练深度网络的时候,每一层隐层应该使用非线性的激活函数 <math>\textstyle f(x)</math>。这是因为多层的线性函数组合在一起本质上也只有线性函数的表达能力(例如,将多个线性方程组合在一起仅仅产生另一个线性方程)。因此,在激活函数是线性的情况下,相比于单隐藏层神经网络,包含多隐藏层的深度网络并没有增加表达能力。 | ||
- | |||
==深度网络的优势== | ==深度网络的优势== |