稀疏编码
From Ufldl
| Line 128: | Line 128: | ||
这里 <math>S(a_i)</math> 是一个函数，决定先验分布的形状。 | 这里 <math>S(a_i)</math> 是一个函数，决定先验分布的形状。 | ||
| + | |||
【一审】至此，我们将“稀疏”的设想加入进来――任一图像都可能是由很少一部分相关特征生成的。因此，我们希望 <math>a_i</math> 的概率分布在零值附近是凸起的，而且形态很陡峭。一个简易的参数化先验分布就是： | 【一审】至此，我们将“稀疏”的设想加入进来――任一图像都可能是由很少一部分相关特征生成的。因此，我们希望 <math>a_i</math> 的概率分布在零值附近是凸起的，而且形态很陡峭。一个简易的参数化先验分布就是： | ||
| Line 136: | Line 137: | ||
这里函数 <math>S(a_i)</math> 决定了先验分布的形状。 | 这里函数 <math>S(a_i)</math> 决定了先验分布的形状。 | ||
| + | |||
| + | Having defined <math>P(\mathbf{x} \mid \mathbf{a}, \mathbf{\phi})</math> and <math> P(\mathbf{a})</math>, we can write the probability of the data <math>\mathbf{x}</math> under the model defined by <math>\mathbf{\phi}</math> as | ||
| + | |||
| + | :<math>\begin{align} | ||
| + | P(\mathbf{x} \mid \mathbf{\phi}) = \int P(\mathbf{x} \mid \mathbf{a}, \mathbf{\phi}) P(\mathbf{a}) d\mathbf{a} | ||
| + | \end{align}</math> | ||
| + | |||
| + | and our problem reduces to finding | ||
| + | |||
| + | :<math>\begin{align} | ||
| + | \mathbf{\phi}^*=\text{argmax}_{\mathbf{\phi}} < \log(P(\mathbf{x} \mid \mathbf{\phi})) > | ||
| + | \end{align}</math> | ||
| + | |||
| + | Where <math><.></math> denotes expectation over our input data. | ||
| + | 【初译】定义了 <math>P(\mathbf{x} \mid \mathbf{a}, \mathbf{\phi})</math> 和 <math> P(\mathbf{a})</math>，在由 <math>\mathbf{\phi}</math> 定义的模型下，我们可以与出数据 <math>\mathbf{x}</math> 的概率为： | ||
| + | |||
| + | :<math>\begin{align} | ||
| + | P(\mathbf{x} \mid \mathbf{\phi}) = \int P(\mathbf{x} \mid \mathbf{a}, \mathbf{\phi}) P(\mathbf{a}) d\mathbf{a} | ||
| + | \end{align}</math> | ||
| + | |||
| + | 我们的问题演化为发现 | ||
| + | |||
| + | :<math>\begin{align} | ||
| + | \mathbf{\phi}^*=\text{argmax}_{\mathbf{\phi}} < \log(P(\mathbf{x} \mid \mathbf{\phi})) > | ||
| + | \end{align}</math> | ||
| + | |||
| + | 其中 <math><.></math> 表示期望我们的输入数据。 | ||
| + | 【一审】当定义了 <math>P(\mathbf{x} \mid \mathbf{a}, \mathbf{\phi})</math> 和 <math> P(\mathbf{a})</math>后，我们就可以通过由 <math>\mathbf{\phi}</math> 生成的模型将数据集 <math>\mathbf{x}</math> 的概率确定为： | ||
| + | |||
| + | :<math>\begin{align} | ||
| + | P(\mathbf{x} \mid \mathbf{\phi}) = \int P(\mathbf{x} \mid \mathbf{a}, \mathbf{\phi}) P(\mathbf{a}) d\mathbf{a} | ||
| + | \end{align}</math> | ||
| + | |||
| + | 那么，我们的问题就简缩为： | ||
| + | |||
| + | :<math>\begin{align} | ||
| + | \mathbf{\phi}^*=\text{argmax}_{\mathbf{\phi}} < \log(P(\mathbf{x} \mid \mathbf{\phi})) > | ||
| + | \end{align}</math> | ||
| + | |||
| + | 这里 <math><.></math> 指的是输入数据的期望值。 | ||
