稀疏编码
From Ufldl
Line 32: | Line 32: | ||
\\ | \\ | ||
\end{array}</math> | \end{array}</math> | ||
- | |||
- | |||
- | |||
== 概率解释 [基于1996年Olshausen与Field的理论] == | == 概率解释 [基于1996年Olshausen与Field的理论] == | ||
到目前为止,我们所考虑的稀疏编码,是为了寻找到一个稀疏的、超完备基向量集,来覆盖我们的输入数据空间。现在换一种方式,我们可以从概率的角度出发,将稀疏编码算法当作一种“生成模型”。 | 到目前为止,我们所考虑的稀疏编码,是为了寻找到一个稀疏的、超完备基向量集,来覆盖我们的输入数据空间。现在换一种方式,我们可以从概率的角度出发,将稀疏编码算法当作一种“生成模型”。 | ||
- | 我们将自然图像建模问题看成是一种限行叠加,叠加元素包括<math>k</math>个独立的源特征 <math>\mathbf{\phi}_i</math> 以及加性噪声 <math>\nu</math>: | + | 我们将自然图像建模问题看成是一种限行叠加,叠加元素包括<math>k</math>个独立的源特征<math>\mathbf{\phi}_i</math>以及加性噪声<math>\nu</math>: |
:<math>\begin{align} | :<math>\begin{align} | ||
Line 45: | Line 42: | ||
\end{align}</math> | \end{align}</math> | ||
- | + | 我们的目标是找到一组特征基向量 <math>\mathbf{\phi}</math> ,它使得图像的分布函数 <math>P(\mathbf{x}\mid\mathbf{\phi})</math> 尽可能地近似于输入数据的经验分布函数 <math>P^*(\mathbf{x})</math>。一种实现方式是,最小化 <math>P^*(\mathbf{x})</math> 与 <math>P(\mathbf{x}\mid\mathbf{\phi})</math> 之间的KL散度,KL散度表示如下: | |
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
- | + | ||
:<math>\begin{align} | :<math>\begin{align} |