从自我学习到深层网络
From Ufldl
Line 25: | Line 25: | ||
在自我学习中,我们首先利用未标注数据训练一个稀疏自动编码器。随后,给定一个新样本<math>x</math>,我们通过隐含层提取出特征<math>a</math>。上述过程图示如下: | 在自我学习中,我们首先利用未标注数据训练一个稀疏自动编码器。随后,给定一个新样本<math>x</math>,我们通过隐含层提取出特征<math>a</math>。上述过程图示如下: | ||
- | [[File: | + | [[File:Section15_Fig1.jpg]] |
Line 36: | Line 36: | ||
【一审】 | 【一审】 | ||
我们感兴趣的是解决一个分类任务,目标是预测标注类型<math>\textstyle y</math>。我们拥有标注训练集<math>\textstyle \{ (x_l^{(1)}, y^{(1)}), (x_l^{(2)}, y^{(2)}), \ldots (x_l^{(m_l)},y^{(m_l)}) \}</math>,包含<math>\textstyle m_l</math>个标注样本。此前我们已经证明,可以利用稀疏自动编码器计算获得的特征<math>\textstyle a^{(l)}</math>(“替代”表示)来替代初始特征。如此,我们就获得训练数据集<math>\textstyle \{(a^{(1)},y^{(1)}), \ldots (a^{(m_l)}, y^{(m_l)}) \}</math>。最终,我们训练得到一个从特征<math>\textstyle a^{(i)}</math> 到分类标注<math>\textstyle y^{(i)}</math>的logistic分类器。为说明这一过程,如同我们此前的笔记,可以如下图描述logistic回归单元(橘黄色)。 | 我们感兴趣的是解决一个分类任务,目标是预测标注类型<math>\textstyle y</math>。我们拥有标注训练集<math>\textstyle \{ (x_l^{(1)}, y^{(1)}), (x_l^{(2)}, y^{(2)}), \ldots (x_l^{(m_l)},y^{(m_l)}) \}</math>,包含<math>\textstyle m_l</math>个标注样本。此前我们已经证明,可以利用稀疏自动编码器计算获得的特征<math>\textstyle a^{(l)}</math>(“替代”表示)来替代初始特征。如此,我们就获得训练数据集<math>\textstyle \{(a^{(1)},y^{(1)}), \ldots (a^{(m_l)}, y^{(m_l)}) \}</math>。最终,我们训练得到一个从特征<math>\textstyle a^{(i)}</math> 到分类标注<math>\textstyle y^{(i)}</math>的logistic分类器。为说明这一过程,如同我们此前的笔记,可以如下图描述logistic回归单元(橘黄色)。 | ||
+ | |||
+ | [[File:Section15_Fig2.jpg]] | ||
Line 46: | Line 48: | ||
【一审】 | 【一审】 | ||
现在,考虑我们利用这个方法所学到的整个分类器(输入-输出映射)。具体来说,让我们通过把一个新的测试样<math>\textstyle x</math>本映射到一个新的预测<math>p(y=1|x)</math>来检验我们的分类器。。将此前的两张图片结合起来,我们可以获得该映射函数的图形表示。最终的分类器可以表示为: | 现在,考虑我们利用这个方法所学到的整个分类器(输入-输出映射)。具体来说,让我们通过把一个新的测试样<math>\textstyle x</math>本映射到一个新的预测<math>p(y=1|x)</math>来检验我们的分类器。。将此前的两张图片结合起来,我们可以获得该映射函数的图形表示。最终的分类器可以表示为: | ||
+ | |||
+ | [[File:Section15_Fig3.jpg]] | ||