稀疏编码
From Ufldl
Line 48: | Line 48: | ||
\end{align}</math> | \end{align}</math> | ||
- | 因为无论我们如何选择 <math>\mathbf{\phi}</math> ,经验分布函数 <math>P^*(\mathbf{x})</math> 都是常量,也就是说我们只需要最大化对数似然函数 <math>P(\mathbf{x}\mid\mathbf{\phi})</math>。 | + | 因为无论我们如何选择 <math>\mathbf{\phi}</math> ,经验分布函数 <math>P^*(\mathbf{x})</math> 都是常量,也就是说我们只需要最大化对数似然函数 <math>P(\mathbf{x}\mid\mathbf{\phi})</math> 。 |
假设 <math>\nu</math> 是具有方差 <math>\sigma^2</math> 的高斯白噪音,则有下式: | 假设 <math>\nu</math> 是具有方差 <math>\sigma^2</math> 的高斯白噪音,则有下式: | ||
Line 55: | Line 55: | ||
\end{align}</math> | \end{align}</math> | ||
- | 为了确定分布<math>P(\mathbf{x}\mid\mathbf{\phi})</math>,我们需要指定先验分布<math>P(\mathbf{a})</math>。假定我们的特征变量是独立的,我们就可以将先验概率分解为: | + | 为了确定分布 <math>P(\mathbf{x}\mid\mathbf{\phi})</math> ,我们需要指定先验分布 <math>P(\mathbf{a})</math> 。假定我们的特征变量是独立的,我们就可以将先验概率分解为: |
:<math>\begin{align} | :<math>\begin{align} |