稀疏自编码器符号一览表

From Ufldl

Jump to: navigation, search


下面是我们在推导sparse autoencoder时使用的符号一览表:

符号 含义
\textstyle x 训练样本的输入特征,\textstyle x \in \Re^{n}.
\textstyle y 输出值/目标值. 这里 \textstyle y 可以是向量. 在autoencoder中,\textstyle y=x.
\textstyle (x^{(i)}, y^{(i)}) \textstyle i 个训练样本
\textstyle h_{W,b}(x) 输入为 \textstyle x 时的假设输出,其中包含参数 \textstyle W,b. 该输出应当与目标值 \textstyle y 具有相同的维数.
\textstyle W^{(l)}_{ij} 连接第 \textstyle l\textstyle j 单元和第 \textstyle l+1\textstyle i 单元的参数.
\textstyle b^{(l)}_{i} \textstyle l+1\textstyle i 单元的偏置项. 也可以看作是连接第 \textstyle l 层偏置单元和第 \textstyle l+1\textstyle i 单元的参数.
\textstyle \theta 参数向量. 可以认为该向量是通过将参数 \textstyle W,b 组合展开为一个长的列向量而得到.
\textstyle a^{(l)}_i 网络中第 \textstyle l\textstyle i 单元的激活(输出)值.

另外,由于 \textstyle L_1 层是输入层,所以 \textstyle a^{(1)}_i = x_i.

\textstyle f(\cdot) 激活函数. 本文中我们使用 \textstyle f(z) = \tanh(z).
\textstyle z^{(l)}_i \textstyle l\textstyle i 单元所有输入的加权和. 因此有 \textstyle a^{(l)}_i = f(z^{(l)}_i).
\textstyle \alpha 学习率
\textstyle s_l \textstyle l 层的单元数目(不包含偏置单元).
\textstyle n_l 网络中的层数. 通常 \textstyle L_1 层是输入层,\textstyle L_{n_l} 层是输出层.
\textstyle \lambda 权重衰减系数.
\textstyle \hat{x} 对于一个autoencoder,该符号表示其输出值;亦即输入值 \textstyle x 的重构值. 与 \textstyle h_{W,b}(x) 含义相同.
\textstyle \rho 稀疏值,可以用它指定我们所需的稀疏程度
\textstyle \hat\rho_i (sparse autoencoder中)隐藏单元 \textstyle i 的平均激活值.
\textstyle \beta (sparse autoencoder目标函数中)稀疏值惩罚项的权重.


中文译者

邵杰(jiesh@hotmail.com),许利杰(csxulijie@gmail.com),余凯(kai.yu.cool@gmail.com)


神经网络 | 反向传导算法 | 梯度检验与高级优化 | 自编码算法与稀疏性 | 可视化自编码器训练结果 | 稀疏自编码器符号一览表 | Exercise:Sparse_Autoencoder


Language : English

Personal tools