可视化自编码器训练结果
From Ufldl
Line 14: | Line 14: | ||
<!-- This is the activation function <math>\textstyle g(\cdot)</math> applied to an affine function of the input.!--> | <!-- This is the activation function <math>\textstyle g(\cdot)</math> applied to an affine function of the input.!--> | ||
:【原文】: | :【原文】: | ||
- | We will visualize the function computed by hidden unit ---which depends on the parameters | + | :We will visualize the function computed by hidden unit ---which depends on the parameters <math>\textstyle W^{(1)}_{ij}</math> (ignoring the bias term for now)---using a 2D image. In particular, we think of <math>\textstyle a^{(2)}_i</math> as some non-linear feature of the input <math>\textstyle x</math>. We ask: What input image <math>\textstyle x</math> would cause <math>\textstyle a^{(2)}_i</math> to be maximally activated? (Less formally, what is the feature that hidden unit <math>\textstyle i</math> is looking for?) For this question to have a non-trivial answer, we must impose some constraints on <math>\textstyle x</math>. If we suppose that the input is norm constrained by <math>\textstyle ||x||^2 = \sum_{i=1}^{100} x_i^2 \leq 1</math>, then one can show (try doing this yourself) that the input which maximally activates hidden unit <math>\textstyle i</math> is given by setting pixel <math>\textstyle x_j</math> (for all 100 pixels, <math>\textstyle j=1,\ldots, 100</math>) to |
+ | :<math>\begin{align} | ||
+ | x_j = \frac{W^{(1)}_{ij}}{\sqrt{\sum_{j=1}^{100} (W^{(1)}_{ij})^2}}. | ||
+ | \end{align}</math> | ||
【初译】: | 【初译】: | ||
我们将用2D图像对这个由隐藏单元i计算出的函数进行可视化,这个函数依赖于参数 (忽略掉偏置项b_i)。此时,如果我们将 理解为输入向量 的某个非线性特征值,我们需要思考:什么样的输入图像 会使得激励 取得最大值?(也就是说,隐藏单元i找到的是一个什么样的特征值?)。因为这个问题需要有一个有实际意义的解,所以我们必须对 加以限制。我们采用输入向量长度的平方 进行归一化限制,于是可以得到(请读者尝试自行推导。),当输入对隐藏单元产生最大的激励时,其输入像素 (对所有100个输入像素,j=1,…,100)所取的值应为: | 我们将用2D图像对这个由隐藏单元i计算出的函数进行可视化,这个函数依赖于参数 (忽略掉偏置项b_i)。此时,如果我们将 理解为输入向量 的某个非线性特征值,我们需要思考:什么样的输入图像 会使得激励 取得最大值?(也就是说,隐藏单元i找到的是一个什么样的特征值?)。因为这个问题需要有一个有实际意义的解,所以我们必须对 加以限制。我们采用输入向量长度的平方 进行归一化限制,于是可以得到(请读者尝试自行推导。),当输入对隐藏单元产生最大的激励时,其输入像素 (对所有100个输入像素,j=1,…,100)所取的值应为: |