从自我学习到深层网络

我们感兴趣的是解决一个分类任务，目标是预测标注类型<math>\textstyle y</math>。我们拥有标注训练集<math>\textstyle \{ (x_l^{(1)}, y^{(1)}), (x_l^{(2)}, y^{(2)}), \ldots (x_l^{(m_l)},y^{(m_l)}) \}</math>，包含<math>\textstyle m_l</math>个标注样本。此前我们已经证明，可以利用稀疏自动编码器计算获得的特征<math>\textstyle a^{(l)}</math>（“替代”表示）来替代初始特征。如此，我们就获得训练数据集<math>\textstyle \{(a^{(1)},y^{(1)}), \ldots (a^{(m_l)}, y^{(m_l)}) \}</math>。最终，我们训练得到一个从特征<math>\textstyle a^{(i)}</math> 到分类标注<math>\textstyle y^{(i)}</math>的logistic分类器。为说明这一过程，如同我们此前的笔记，可以如下图描述logistic回归单元（橘黄色）。