反向传导算法
From Ufldl
Line 69: | Line 69: | ||
<li>对于第 <math>\textstyle n_l</math> 层(输出层)的每个输出单元 <math>\textstyle i</math>,我们根据以下公式计算残差: | <li>对于第 <math>\textstyle n_l</math> 层(输出层)的每个输出单元 <math>\textstyle i</math>,我们根据以下公式计算残差: | ||
- | :<math> | + | |
- | \delta^{(n_l)}_i = \frac{\partial}{\partial z^{n_l}_i} | + | :<math> |
- | + | \begin{align} | |
- | + | \delta^{(n_l)}_i | |
- | </math> | + | = \frac{\partial}{\partial z^{(n_l)}_i} \;\; |
+ | \frac{1}{2} \left\|y - h_{W,b}(x)\right\|^2 = - (y_i - a^{(n_l)}_i) \cdot f'(z^{(n_l)}_i) | ||
+ | \end{align} | ||
+ | </math> | ||