用反向传导思想求导
From Ufldl
Line 1: | Line 1: | ||
- | |||
== 简介 == | == 简介 == | ||
在[[Backpropagation Algorithm | backpropagation algorithm]]一节中,我们介绍了在稀疏自编码器中用反向传导算法来求梯度的方法。事实证明,反向传导算法与矩阵运算相结合的方法,对于计算复杂矩阵函数(从矩阵到实数的函数,或用符号表示为:从<math>\mathbb{R}^{r \times c} \rightarrow \mathbb{R}</math>)的梯度是十分强大和直观的。 | 在[[Backpropagation Algorithm | backpropagation algorithm]]一节中,我们介绍了在稀疏自编码器中用反向传导算法来求梯度的方法。事实证明,反向传导算法与矩阵运算相结合的方法,对于计算复杂矩阵函数(从矩阵到实数的函数,或用符号表示为:从<math>\mathbb{R}^{r \times c} \rightarrow \mathbb{R}</math>)的梯度是十分强大和直观的。 | ||
Line 111: | Line 110: | ||
\end{align} | \end{align} | ||
</math> | </math> | ||
- | |||
- | |||
=== 示例2:稀疏编码中的平滑地形L1稀疏罚函数 === | === 示例2:稀疏编码中的平滑地形L1稀疏罚函数 === | ||
Line 186: | Line 183: | ||
\end{align} | \end{align} | ||
</math> | </math> | ||
- | |||
- | |||
=== 示例3:ICA重建代价 === | === 示例3:ICA重建代价 === |