稀疏编码自编码表达
From Ufldl
Line 1: | Line 1: | ||
- | |||
== 稀疏编码 == | == 稀疏编码 == | ||
Line 130: | Line 129: | ||
- | == 将样本分批为“迷你块” == | + | === 将样本分批为“迷你块” === |
Line 136: | Line 135: | ||
- | == 良好的<math>s</math>初始值 == | + | === 良好的<math>s</math>初始值 === |
另一个能获得更快速更优化收敛的重要技巧是:在给定 <math>A</math> 的条件下,根据目标函数使用梯度下降(或其他方法)求解 <math>s</math> 之前找到良好的特征矩阵 <math>s</math> 的初始值。实际上,除非在优化 <math>A</math> 的最优值前已找到一个最佳矩阵 <math>s</math>,不然每次迭代过程中随机初始化 <math>s</math> 值会导致很差的收敛效果。下面给出一个初始化 <math>s</math> 的较好方法: | 另一个能获得更快速更优化收敛的重要技巧是:在给定 <math>A</math> 的条件下,根据目标函数使用梯度下降(或其他方法)求解 <math>s</math> 之前找到良好的特征矩阵 <math>s</math> 的初始值。实际上,除非在优化 <math>A</math> 的最优值前已找到一个最佳矩阵 <math>s</math>,不然每次迭代过程中随机初始化 <math>s</math> 值会导致很差的收敛效果。下面给出一个初始化 <math>s</math> 的较好方法: | ||
Line 150: | Line 149: | ||
- | == 可运行算法 == | + | === 可运行算法 === |
有了以上两种技巧,稀疏编码算法修改如下: | 有了以上两种技巧,稀疏编码算法修改如下: |