稀疏编码自编码表达
From Ufldl
(→[ 将样本分批为“迷你块” ]) |
(→[ 可运行算法 ]) |
||
Line 120: | Line 120: | ||
无疑,这样的初始化有助于算法的改进,因为上述的第一步希望找到满足<math>Ws \approx x</math>的矩阵<math>s</math>;第二步对<math>s</math>作规范化处理是为了保持较小的稀疏惩罚值。这也表明,只采用上述步骤的某一步而不是两步对<math>s</math>做初始化处理将严重影响算法性能。([[TODO]]:此链接将会对为什么这样的初始化能改进算法作出更详细的解释) | 无疑,这样的初始化有助于算法的改进,因为上述的第一步希望找到满足<math>Ws \approx x</math>的矩阵<math>s</math>;第二步对<math>s</math>作规范化处理是为了保持较小的稀疏惩罚值。这也表明,只采用上述步骤的某一步而不是两步对<math>s</math>做初始化处理将严重影响算法性能。([[TODO]]:此链接将会对为什么这样的初始化能改进算法作出更详细的解释) | ||
- | + | ==[ 可运行算法 ]== | |
有了以上两种技巧,稀疏编码算法修改如下: | 有了以上两种技巧,稀疏编码算法修改如下: |