|
|
| Line 1: |
Line 1: |
| - | Softmax回归(Softmax Regression)
| + | ==简介== |
| | | | |
| - | '''初译''':@knighterzjy
| + | 在本节中，我们介绍Softmax回归模型，该模型是logistic回归模型在多分类问题上的推广，在多分类问题中，类标签 <math>\textstyle y</math> 可以取两个以上的值。 Softmax回归模型对于诸如MNIST手写数字分类等问题是很有用的，该问题的目的是辨识10个不同的单个数字。Softmax回归是有监督的，不过后面也会介绍它与深度学习/无监督学习方法的结合。（译者注： MNIST 是一个手写数字识别库，由NYU 的Yann LeCun 等人维护。http://yann.lecun.com/exdb/mnist/ ） |
| | | | |
| - | '''一审''':@GuitarFang
| |
| | | | |
| - | == Introduction介绍 == | + | 回想一下在 logistic 回归中，我们的训练集由 <math>\textstyle m</math> 个已标记的样本构成：<math>\{ (x^{(1)}, y^{(1)}), \ldots, (x^{(m)}, y^{(m)}) \}</math> ，其中输入特征<math>x^{(i)} \in \Re^{n+1}</math>。（我们对符号的约定如下：特征向量 <math>\textstyle x</math> 的维度为 <math>\textstyle n+1</math>，其中 <math>\textstyle x_0 = 1</math> 对应截距项 。） 由于 logistic 回归是针对二分类问题的，因此类标记 <math>y^{(i)} \in \{0,1\}</math>。假设函数(hypothesis function) 如下： |
| | | | |
| - | '''原文''':
| + | :<math>\begin{align} |
| - | | + | |
| - | In these notes, we describe the '''Softmax regression''' model. This model generalizes logistic regression to
| + | |
| - | classification problems where the class label <math>y</math> can take on more than two possible values.
| + | |
| - | This will be useful for such problems as MNIST digit classification, where the goal is to distinguish between 10 different
| + | |
| - | numerical digits. Softmax regression is a supervised learning algorithm, but we will later be
| + | |
| - | using it in conjuction with our deep learning/unsupervised feature learning methods.
| + | |
| - | | + | |
| - | | + | |
| - | '''译文''':
| + | |
| - | | + | |
| - | 在本节中，我们介绍Softmax回归模型，该模型是logistic回归模型在多分类问题上的泛化，在多分类问题中，类标签y可以取两个以上的值。 Softmax回归模型可以直接应用于 MNIST 手写数字分类问题等多分类问题。Softmax回归是有监督的，不过我们接下来也会介绍它与深度学习/无监督学习方法的结合。
| + | |
| - | （译者注： MNIST 是一个手写数字识别库，由 NYU 的Yann LeCun 等人维护。 http://yann.lecun.com/exdb/mnist/ ）
| + | |
| - | | + | |
| - | '''一审''':
| + | |
| - | | + | |
| - | 在本章中，我们介绍Softmax回归模型。该模型将logistic回归模型一般化，以用来解决类型标签y的可能取值多于两种的分类问题。Softmax回归模型对于诸如MNIST手写数字分类等问题是十分有用的，该问题的目的是辨识10个不同的单个数字。Softmax回归是一种有监督学习算法，但是我们接下来要将它与我们的深度学习/无监督特征学习方法结合起来使用。
| + | |
| - | （译者注：MNIST是一个手写数字识别库，由NYU的Yann LeCun等人维护。http://yann.lecun.com/exdb/mnist/）
| + | |
| - | | + | |
| - | '''原文''':
| + | |
| - | Recall that in logistic regression, we had a training set
| + | |
| - | <math>\{ (x^{(1)}, y^{(1)}), \ldots, (x^{(m)}, y^{(m)}) \}</math>
| + | |
| - | of <math>m</math> labeled examples, where the input features are <math>x^{(i)} \in \Re^{n+1}</math>.
| + | |
| - | (In this set of notes, we will use the notational convention of letting the feature vectors <math>x</math> be
| + | |
| - | <math>n+1</math> dimensional, with <math>x_0 = 1</math> corresponding to the intercept term.)
| + | |
| - | With logistic regression, we were in the binary classification setting, so the labels
| + | |
| - | were <math>y^{(i)} \in \{0,1\}</math>. Our hypothesis took the form:
| + | |
| - | | + | |
| - | <math>\begin{align} | + | |
| | h_\theta(x) = \frac{1}{1+\exp(-\theta^Tx)}, | | h_\theta(x) = \frac{1}{1+\exp(-\theta^Tx)}, |
| | \end{align}</math> | | \end{align}</math> |
| | | | |
| | | | |
| - | '''译文''':
| + | 我们将训练模型参数 <math>\textstyle \theta</math>，使其能够最小化代价函数 ： |
| - | 回顾一下 logistic 回归，我们的训练集为<math>\{ (x^{(1)}, y^{(1)}), \ldots, (x^{(m)}, y^{(m)}) \}</math>
| + | |
| - | ，其中 m为样本数，<math>x^{(i)} \in \Re^{n+1}</math>为特征。
| + | |
| - | 由于 logistic 回归是针对二分类问题的，因此类标 <math>y^{(i)} \in \{0,1\}</math>。假设函数如下：
| + | |
| | | | |
| - | <math>\begin{align}
| + | :<math> |
| - | h_\theta(x) = \frac{1}{1+\exp(-\theta^Tx)},
| + | |
| - | \end{align}</math>
| + | |
| - | | + | |
| - | '''一审''':
| + | |
| - | 回想一下在 logistic 回归中，我们拥有一个包含 m 个被标记的样本的训练集 <math>\{ (x^{(1)}, y^{(1)}), \ldots, (x^{(m)}, y^{(m)}) \}</math>，其中输入特征值 <math>x^{(i)} \in \Re^{n+1}</math>。（在本章中，我们对出现的符号进行如下约定：特征向量 x 的维度为n+1 ，其中x0=1对应截距项 。）因为在Logistic 回归中，我们要解决的是二元分类问题，因此类型标记<math>y^{(i)} \in \{0,1\}</math>。估值函数如下：
| + | |
| - | | + | |
| - | <math>\begin{align}
| + | |
| - | h_\theta(x) = \frac{1}{1+\exp(-\theta^Tx)},
| + | |
| - | \end{align}</math>
| + | |
| - | | + | |
| - | | + | |
| - | '''原文''':
| + | |
| - | | + | |
| - | and the model parameters <math>\theta</math> were trained to minimize
| + | |
| - | the cost function
| + | |
| - | <math> | + | |
| | \begin{align} | | \begin{align} |
| | J(\theta) = -\frac{1}{m} \left[ \sum_{i=1}^m y^{(i)} \log h_\theta(x^{(i)}) + (1-y^{(i)}) \log (1-h_\theta(x^{(i)})) \right] | | J(\theta) = -\frac{1}{m} \left[ \sum_{i=1}^m y^{(i)} \log h_\theta(x^{(i)}) + (1-y^{(i)}) \log (1-h_\theta(x^{(i)})) \right] |
| Line 68: |
Line 20: |
| | | | |
| | | | |
| - | '''译文''':
| + | 在 softmax回归中，我们解决的是多分类问题（相对于 logistic 回归解决的二分类问题），类标 <math>\textstyle y</math> 可以取 <math>\textstyle k</math> 个不同的值（而不是 2 个）。因此，对于训练集 <math>\{ (x^{(1)}, y^{(1)}), \ldots, (x^{(m)}, y^{(m)}) \}</math>，我们有 <math>y^{(i)} \in \{1, 2, \ldots, k\}</math>。（注意此处的类别下标从 1 开始，而不是 0）。例如，在 MNIST 数字识别任务中，我们有 <math>\textstyle k=10</math> 个不同的类别。 |
| - | 模型参数 <math>\theta</math> 用于最小化损失函数
| + | |
| - | <math>
| + | |
| - | \begin{align}
| + | |
| - | J(\theta) = -\frac{1}{m} \left[ \sum_{i=1}^m y^{(i)} \log h_\theta(x^{(i)}) + (1-y^{(i)}) \log (1-h_\theta(x^{(i)})) \right]
| + | |
| - | \end{align}
| + | |
| - | </math> | + | |
| - | | + | |
| - | | + | |
| - | '''一审''':
| + | |
| - | 我们将训练模型参数 <math>\theta</math> ，使其能够最小化代价函数 ：
| + | |
| - | | + | |
| - | <math>
| + | |
| - | \begin{align}
| + | |
| - | J(\theta) = -\frac{1}{m} \left[ \sum_{i=1}^m y^{(i)} \log h_\theta(x^{(i)}) + (1-y^{(i)}) \log (1-h_\theta(x^{(i)})) \right]
| + | |
| - | \end{align}
| + | |
| - | </math>
| + | |
| - | | + | |
| - | '''原文''':
| + | |
| - | In the softmax regression setting, we are interested in multi-class
| + | |
| - | classification (as opposed to only binary classification), and so the label
| + | |
| - | <math>y</math> can take on <math>k</math> different values, rather than only
| + | |
| - | two. Thus, in our training set
| + | |
| - | <math>\{ (x^{(1)}, y^{(1)}), \ldots, (x^{(m)}, y^{(m)}) \}</math>,
| + | |
| - | we now have that <math>y^{(i)} \in \{1, 2, \ldots, k\}</math>. (Note that
| + | |
| - | our convention will be to index the classes starting from 1, rather than from 0.) For example,
| + | |
| - | in the MNIST digit recognition task, we would have <math>k=10</math> different classes.
| + | |
| - | | + | |
| - | '''译文''':
| + | |
| - | 在 softmax回归中，我们解决的是多分类问题（相对于 logistic 回归解决的二分类问题），类标 y 可以取 k个不同的值（而不是 2 个）。因此，对于训练集 <math>\{ (x^{(1)}, y^{(1)}), \ldots, (x^{(m)}, y^{(m)}) \}</math>，我们有 <math>y^{(i)} \in \{1, 2, \ldots, k\}</math>。（注意此处的类别下标从 1 开始，而不是 0）。例如，在 MNIST 数字识别任务中，我们有 k=10 个不同的类别。
| + | |
| - | | + | |
| - | '''一审''':
| + | |
| - | 在 softmax回归中，我们感兴趣的是多元分类（相对于只能辨识两种类型的二元分类）， 所以类型标记y可以取k个不同的值（而不只限于2个）。 于是，对于我们的 训练集<math>\{ (x^{(1)}, y^{(1)}), \ldots, (x^{(m)}, y^{(m)}) \}</math> 便有<math>y^{(i)} \in \{1, 2, \ldots, k\}</math>。（注意，我们约定类别下标从 1 开始，而不是 0）。例如，在 MNIST 数字识别任务中，我们有 k=10 个不同的类别。
| + | |
| | | | |
| | | | |
| - | '''原文''':
| + | 对于给定的测试输入 <math>\textstyle x</math>，我们想用假设函数针对每一个类别j估算出概率值 <math>\textstyle p(y=j | x)</math>。也就是说，我们想估计 <math>\textstyle x</math> 的每一种分类结果出现的概率。因此，我们的假设函数将要输出一个 <math>\textstyle k</math> 维的向量（向量元素的和为1）来表示这 <math>\textstyle k</math> 个估计的概率值。 具体地说，我们的假设函数 <math>\textstyle h_{\theta}(x)</math> 形式如下： |
| - | Given a test input <math>x</math>, we want our hypothesis to estimate
| + | |
| - | the probability that <math>p(y=j | x)</math> for each value of <math>j = 1, \ldots, k</math>.
| + | |
| - | I.e., we want to estimate the probability of the class label taking
| + | |
| - | on each of the <math>k</math> different possible values. Thus, our hypothesis
| + | |
| - | will output a <math>k</math> dimensional vector (whose elements sum to 1) giving
| + | |
| - | us our <math>k</math> estimated probabilities. Concretely, our hypothesis
| + | |
| - | <math>h_{\theta}(x)</math> takes the form: | + | |
| | | | |
| - | <math> | + | :<math> |
| | \begin{align} | | \begin{align} |
| | h_\theta(x^{(i)}) = | | h_\theta(x^{(i)}) = |
| Line 132: |
Line 45: |
| | </math> | | </math> |
| | | | |
| - | '''译文''':
| |
| - | 给定一个测试样本 x ，我们想让假设函数去估计该样本在每一个类别上的概率 <math>p(y=j | x)</math> ，例如，我们想要估计类标在 k 个不同类别上的概率。因此，我们的假设函数会输出一个 k 维的向量（向量元素的和为1）来表示样本x在k个类别上的概率值。具体地说，我们的假设函数<math>h_{\theta}(x)</math> 形式如下：
| |
| | | | |
| - | <math> | + | 其中 <math>\theta_1, \theta_2, \ldots, \theta_k \in \Re^{n+1}</math> 是模型的参数。请注意 <math>\frac{1}{ \sum_{j=1}^{k}{e^{ \theta_j^T x^{(i)} }} } </math>这一项对概率分布进行归一化，使得所有概率之和为 1 。 |
| - | \begin{align} | + | |
| - | h_\theta(x^{(i)}) =
| + | |
| - | \begin{bmatrix} | + | |
| - | p(y^{(i)} = 1 | x^{(i)}; \theta) \\
| + | |
| - | p(y^{(i)} = 2 | x^{(i)}; \theta) \\
| + | |
| - | \vdots \\
| + | |
| - | p(y^{(i)} = k | x^{(i)}; \theta)
| + | |
| - | \end{bmatrix}
| + | |
| - | =
| + | |
| - | \frac{1}{ \sum_{j=1}^{k}{e^{ \theta_j^T x^{(i)} }} } | + | |
| - | \begin{bmatrix}
| + | |
| - | e^{ \theta_1^T x^{(i)} } \\
| + | |
| - | e^{ \theta_2^T x^{(i)} } \\
| + | |
| - | \vdots \\
| + | |
| - | e^{ \theta_k^T x^{(i)} } \\
| + | |
| - | \end{bmatrix}
| + | |
| - | \end{align}
| + | |
| - | </math> | + | |
| | | | |
| - | '''一审''':
| |
| - | 对于给定的测试输入，我们想让估值函数针对每一个估算出概率值<math>p(y=j | x)</math> 。也就是说，我们想估计出分类结果在每一个分类标记值上出现的概率 (一审注：而不是估算出具体是取哪一个值，这一点和基本神经网络估值函数输出最终值是有区别的) 。因此，我们的 估值函数将要输出一个k维的向量（向量元素的和为1）来表示这k被估计出的概率值。 具体地说，我们的 估值函数<math>h_{\theta}(x)</math> 形式如下：
| |
| | | | |
| - | <math> | + | 为了方便起见，我们同样使用符号 <math>\textstyle \theta</math> 来表示全部的模型参数。在实现Softmax回归时，将 <math>\textstyle \theta</math> 用一个 <math>\textstyle k \times(n+1)</math> 的矩阵来表示会很方便，该矩阵是将 <math>\theta_1, \theta_2, \ldots, \theta_k</math> 按行罗列起来得到的，如下所示： |
| - | \begin{align} | + | |
| - | h_\theta(x^{(i)}) =
| + | |
| - | \begin{bmatrix}
| + | |
| - | p(y^{(i)} = 1 | x^{(i)}; \theta) \\
| + | |
| - | p(y^{(i)} = 2 | x^{(i)}; \theta) \\
| + | |
| - | \vdots \\
| + | |
| - | p(y^{(i)} = k | x^{(i)}; \theta)
| + | |
| - | \end{bmatrix}
| + | |
| - | =
| + | |
| - | \frac{1}{ \sum_{j=1}^{k}{e^{ \theta_j^T x^{(i)} }} }
| + | |
| - | \begin{bmatrix}
| + | |
| - | e^{ \theta_1^T x^{(i)} } \\
| + | |
| - | e^{ \theta_2^T x^{(i)} } \\
| + | |
| - | \vdots \\
| + | |
| - | e^{ \theta_k^T x^{(i)} } \\
| + | |
| - | \end{bmatrix}
| + | |
| - | \end{align}
| + | |
| - | </math> | + | |
| - | | + | |
| - | '''原文''':
| + | |
| - | Here <math>\theta_1, \theta_2, \ldots, \theta_k \in \Re^{n+1}</math> are the
| + | |
| - | parameters of our model.
| + | |
| - | Notice that
| + | |
| - | the term <math>\frac{1}{ \sum_{j=1}^{k}{e^{ \theta_j^T x^{(i)} }} } </math>
| + | |
| - | normalizes the distribution, so that it sums to one.
| + | |
| - | | + | |
| - | '''译文''':
| + | |
| - | 其中 <math>\theta_1, \theta_2, \ldots, \theta_k \in \Re^{n+1}</math> 均为模型参数， the term <math>\frac{1}{ \sum_{j=1}^{k}{e^{ \theta_j^T x^{(i)} }} } </math> 是模型的归一化因子，使得向量的和为 1 。
| + | |
| - | | + | |
| - | '''一审''':
| + | |
| - | 其中 <math>\theta_1, \theta_2, \ldots, \theta_k \in \Re^{n+1}</math>是我们模型的参数。请注意<math>\frac{1}{ \sum_{j=1}^{k}{e^{ \theta_j^T x^{(i)} }} } </math>，这一项对概率分布进行归一化，使得所有概率之和为 1 。
| + | |
| - | | + | |
| - | | + | |
| - | '''原文''':
| + | |
| - | For convenience, we will also write
| + | |
| - | <math>\theta</math> to denote all the
| + | |
| - | parameters of our model. When you implement softmax regression, it is usually
| + | |
| - | convenient to represent <math>\theta</math> as a <math>k</math>-by-<math>(n+1)</math> matrix obtained by
| + | |
| - | stacking up <math>\theta_1, \theta_2, \ldots, \theta_k</math> in rows, so that
| + | |
| - | | + | |
| - | <math>
| + | |
| - | \theta = \begin{bmatrix}
| + | |
| - | \mbox{---} \theta_1^T \mbox{---} \\
| + | |
| - | \mbox{---} \theta_2^T \mbox{---} \\
| + | |
| - | \vdots \\
| + | |
| - | \mbox{---} \theta_k^T \mbox{---} \\
| + | |
| - | \end{bmatrix}
| + | |
| - | </math>
| + | |
| - | | + | |
| - | '''译文''':
| + | |
| - | 为了简便，我们使用<math>\theta</math>来表示模型参数。在实现Softmax回归的时候，往往使用一个<math>k</math>-by-<math>(n+1)</math>的矩阵来表示<math>\theta</math>。我们将 <math>\theta_1, \theta_2, \ldots, \theta_k</math>按行表示，得到
| + | |
| - | <math>
| + | |
| - | \theta = \begin{bmatrix}
| + | |
| - | \mbox{---} \theta_1^T \mbox{---} \\
| + | |
| - | \mbox{---} \theta_2^T \mbox{---} \\
| + | |
| - | \vdots \\
| + | |
| - | \mbox{---} \theta_k^T \mbox{---} \\
| + | |
| - | \end{bmatrix}
| + | |
| - | </math>
| + | |
| | | | |
| - | '''一审''':
| + | :<math> |
| - | 为了方便起见，我们同样使用符号<math>\theta</math>来表示全部的模型参数。在实现Softmax回归时，你通常会发现，将θ用一个<math>k</math>-by-<math>(n+1)</math>的矩阵来表示会十分便利，该矩阵是将 <math>\theta_1, \theta_2, \ldots, \theta_k</math>按行罗列起来得到的，如下所示：
| + | |
| - | <math> | + | |
| | \theta = \begin{bmatrix} | | \theta = \begin{bmatrix} |
| | \mbox{---} \theta_1^T \mbox{---} \\ | | \mbox{---} \theta_1^T \mbox{---} \\ |
| Line 230: |
Line 60: |
| | </math> | | </math> |
| | | | |
| - | == 代价函数 Cost Function ==
| |
| | | | |
| - | '''原文''':
| + | == 代价函数== |
| | | | |
| - | We now describe the cost function that we'll use for softmax regression. In the equation below, <math>1\{\cdot\}</math> is
| + | 现在我们来介绍 softmax 回归算法的代价函数。在下面的公式中，<math>\textstyle 1\{\cdot\}</math> 是示性函数，其取值规则为： |
| - | the '''indicator function,''' so that <math>1\{\hbox{a true statement}\}=1</math>, and <math>1\{\hbox{a false statement}\}=0</math>.
| + | <math>\textstyle 1\{</math> 值为真的表达式 <math>\textstyle \}=1</math> |
| - | For example, <math>1\{2+2=4\}</math> evaluates to 1; whereas <math>1\{1+1=5\}</math> evaluates to 0. Our cost function will be:
| + | ， <math>\textstyle 1\{</math> 值为假的表达式 <math>\textstyle \}=0</math>。举例来说，表达式 <math>\textstyle 1\{2+2=4\}</math> 的值为1 ，<math>\textstyle 1\{1+1=5\}</math>的值为 0。我们的代价函数为： |
| | | | |
| - | <math> | + | :<math> |
| | \begin{align} | | \begin{align} |
| | J(\theta) = - \frac{1}{m} \left[ \sum_{i=1}^{m} \sum_{j=1}^{k} 1\left\{y^{(i)} = j\right\} \log \frac{e^{\theta_j^T x^{(i)}}}{\sum_{l=1}^k e^{ \theta_l^T x^{(i)} }}\right] | | J(\theta) = - \frac{1}{m} \left[ \sum_{i=1}^{m} \sum_{j=1}^{k} 1\left\{y^{(i)} = j\right\} \log \frac{e^{\theta_j^T x^{(i)}}}{\sum_{l=1}^k e^{ \theta_l^T x^{(i)} }}\right] |
| Line 244: |
Line 73: |
| | </math> | | </math> |
| | | | |
| - | '''译文''':
| + | |
| - | 在本节中，我们定义 softmax回归的损失函数。在下面的公式中，<math>1\{\cdot\}</math>是一个标识函数，1{值为真的表达式}=1，1{值为假的表达式}=0。例如，表达式 1{2+2=4}的值为1 ，1{1+1=5}的值为 0。我们的损失函数为：
| + | 值得注意的是，上述公式是logistic回归代价函数的推广。logistic回归代价函数可以改为： |
| - | <math> | + | |
| | + | :<math> |
| | \begin{align} | | \begin{align} |
| - | J(\theta) = - \frac{1}{m} \left[ \sum_{i=1}^{m} \sum_{j=1}^{k} 1\left\{y^{(i)} = j\right\} \log \frac{e^{\theta_j^T x^{(i)}}}{\sum_{l=1}^k e^{ \theta_l^T x^{(i)} }}\right] | + | J(\theta) &= -\frac{1}{m} \left[ \sum_{i=1}^m (1-y^{(i)}) \log (1-h_\theta(x^{(i)})) + y^{(i)} \log h_\theta(x^{(i)}) \right] \\ |
| | + | &= - \frac{1}{m} \left[ \sum_{i=1}^{m} \sum_{j=0}^{1} 1\left\{y^{(i)} = j\right\} \log p(y^{(i)} = j | x^{(i)} ; \theta) \right] |
| | \end{align} | | \end{align} |
| | </math> | | </math> |
| | | | |
| - | '''一审''':
| + | |
| - | 现在我们来介绍用于softmax回归算法的代价函数。在下面的公式中，<math>1\{\cdot\}</math>是示性函数，其取值规则为：1{值为真的表达式}=1，1{值为假的表达式}=0。举例来说，表达式1{2+2=4}的值为1 ，1{1+1=5}的值为 0。我们的代价函数为：
| + | 可以看到，Softmax代价函数与logistic 代价函数在形式上非常类似，只是在Softmax损失函数中对类标记的 <math>\textstyle k</math> 个可能值进行了累加。注意在Softmax回归中将 <math>\textstyle x</math> 分类为类别 <math>\textstyle j</math> 的概率为： |
| - | <math> | + | |
| | + | :<math> |
| | + | p(y^{(i)} = j | x^{(i)} ; \theta) = \frac{e^{\theta_j^T x^{(i)}}}{\sum_{l=1}^k e^{ \theta_l^T x^{(i)}} } |
| | + | </math>. |
| | + | |
| | + | |
| | + | 对于 <math>\textstyle J(\theta)</math> 的最小化问题，目前还没有闭式解法。因此，我们使用迭代的优化算法（例如梯度下降法，或 L-BFGS）。经过求导，我们得到梯度公式如下： |
| | + | |
| | + | :<math> |
| | \begin{align} | | \begin{align} |
| - | J(\theta) = - \frac{1}{m} \left[ \sum_{i=1}^{m} \sum_{j=1}^{k} 1\left\{y^{(i)} = j\right\} \log \frac{e^{\theta_j^T x^{(i)}}}{\sum_{l=1}^k e^{ \theta_l^T x^{(i)} }}\right] | + | \nabla_{\theta_j} J(\theta) = - \frac{1}{m} \sum_{i=1}^{m}{ \left[ x^{(i)} \left( 1\{ y^{(i)} = j\} - p(y^{(i)} = j | x^{(i)}; \theta) \right) \right] } |
| | \end{align} | | \end{align} |
| | </math> | | </math> |
| | | | |
| | | | |
| - | '''原文''':
| + | 让我们来回顾一下符号 "<math>\textstyle \nabla_{\theta_j}</math>" 的含义。<math>\textstyle \nabla_{\theta_j} J(\theta)</math> 本身是一个向量，它的第 <math>\textstyle l</math> 个元素 <math>\textstyle \frac{\partial J(\theta)}{\partial \theta_{jl}}</math> 是 <math>\textstyle J(\theta)</math>对<math>\textstyle \theta_j</math> 的第 <math>\textstyle l</math> 个分量的偏导数。 |
| | | | |
| - | Notice that this generalizes the logistic regression cost function, which could also have been written:
| |
| | | | |
| - | <math> | + | 有了上面的偏导数公式以后，我们就可以将它代入到梯度下降法等算法中，来最小化 <math>\textstyle J(\theta)</math>。 例如，在梯度下降法的标准实现中，每一次迭代需要进行如下更新: <math>\textstyle \theta_j := \theta_j - \alpha \nabla_{\theta_j} J(\theta)</math>(<math>\textstyle j=1,\ldots,k</math>）。 |
| | + | |
| | + | 当实现 softmax 回归算法时， 我们通常会使用上述代价函数的一个改进版本。具体来说，就是和权重衰减(weight decay)一起使用。我们接下来介绍使用它的动机和细节。 |
| | + | |
| | + | |
| | + | == Softmax回归模型参数化的特点== |
| | + | |
| | + | Softmax 回归有一个不寻常的特点：它有一个“冗余”的参数集。为了便于阐述这一特点，假设我们从参数向量 <math>\textstyle \theta_j</math> 中减去了向量 <math>\textstyle \psi</math>，这时，每一个 <math>\textstyle \theta_j</math> 都变成了 <math>\textstyle \theta_j - \psi</math>(<math>\textstyle j=1, \ldots, k</math>)。此时假设函数变成了以下的式子： |
| | + | |
| | + | :<math> |
| | \begin{align} | | \begin{align} |
| - | J(\theta) &= -\frac{1}{m} \left[ \sum_{i=1}^m (1-y^{(i)}) \log (1-h_\theta(x^{(i)})) + y^{(i)} \log h_\theta(x^{(i)}) \right] \\
| + | p(y^{(i)} = j | x^{(i)} ; \theta) |
| - | &= - \frac{1}{m} \left[ \sum_{i=1}^{m} \sum_{j=0}^{1} 1\left\{y^{(i)} = j\right\} \log p(y^{(i)} = j | x^{(i)} ; \theta) \right]
| + | &= \frac{e^{(\theta_j-\psi)^T x^{(i)}}}{\sum_{l=1}^k e^{ (\theta_l-\psi)^T x^{(i)}}} \\ |
| | + | &= \frac{e^{\theta_j^T x^{(i)}} e^{-\psi^Tx^{(i)}}}{\sum_{l=1}^k e^{\theta_l^T x^{(i)}} e^{-\psi^Tx^{(i)}}} \\ |
| | + | &= \frac{e^{\theta_j^T x^{(i)}}}{\sum_{l=1}^k e^{ \theta_l^T x^{(i)}}}. |
| | \end{align} | | \end{align} |
| | </math> | | </math> |
| | | | |
| - | '''译文''':
| |
| | | | |
| - | 值得注意的是，上述公式是logistic回归损失函数的一个泛化版。 logistic回归损失函数可以改写如下：
| + | 换句话说，从 <math>\textstyle \theta_j</math> 中减去 <math>\textstyle \psi</math> 完全不影响假设函数的预测结果！这表明前面的 softmax 回归模型中存在冗余的参数。更正式一点来说， Softmax 模型被过度参数化了。对于任意一个用于拟合数据的假设函数，可以求出多组参数值，这些参数得到的是完全相同的假设函数 <math>\textstyle h_\theta</math>。 |
| - |
| + | |
| - | <math> | + | |
| | + | 进一步而言，如果参数 <math>\textstyle (\theta_1, \theta_2,\ldots, \theta_k)</math> 是代价函数 <math>\textstyle J(\theta)</math> 的极小值点，那么 <math>\textstyle (\theta_1 - \psi, \theta_2 - \psi,\ldots, |
| | + | \theta_k - \psi)</math> 同样也是它的极小值点，其中 <math>\textstyle \psi</math> 可以为任意向量。因此使 <math>\textstyle J(\theta)</math> 最小化的解不是唯一的。（有趣的是，由于 <math>\textstyle J(\theta)</math> 仍然是一个凸函数，因此梯度下降时不会遇到局部最优解的问题。但是 Hessian 矩阵是奇异的/不可逆的，这会直接导致采用牛顿法优化就遇到数值计算的问题） |
| | + | |
| | + | |
| | + | 注意，当 <math>\textstyle \psi = \theta_1</math> 时，我们总是可以将 <math>\textstyle \theta_1</math>替换为<math>\textstyle \theta_1 - \psi = \vec{0}</math>（即替换为全零向量），并且这种变换不会影响假设函数。因此我们可以去掉参数向量 <math>\textstyle \theta_1</math> （或者其他 <math>\textstyle \theta_j</math> 中的任意一个）而不影响假设函数的表达能力。实际上，与其优化全部的 <math>\textstyle k\times(n+1)</math> 个参数 <math>\textstyle (\theta_1, \theta_2,\ldots, \theta_k)</math> （其中 <math>\textstyle \theta_j \in \Re^{n+1}</math>），我们可以令 <math>\textstyle \theta_1 = |
| | + | \vec{0}</math>，只优化剩余的 <math>\textstyle (k-1)\times(n+1)</math> 个参数，这样算法依然能够正常工作。 |
| | + | |
| | + | |
| | + | 在实际应用中，为了使算法实现更简单清楚，往往保留所有参数 <math>\textstyle (\theta_1, \theta_2,\ldots, \theta_n)</math>，而不任意地将某一参数设置为 0。但此时我们需要对代价函数做一个改动：加入权重衰减。权重衰减可以解决 softmax 回归的参数冗余所带来的数值问题。 |
| | + | |
| | + | |
| | + | ==权重衰减== |
| | + | |
| | + | 我们通过添加一个权重衰减项 <math>\textstyle \frac{\lambda}{2} \sum_{i=1}^k \sum_{j=0}^{n} \theta_{ij}^2</math> 来修改代价函数，这个衰减项会惩罚过大的参数值，现在我们的代价函数变为： |
| | + | |
| | + | :<math> |
| | \begin{align} | | \begin{align} |
| - | J(\theta) &= -\frac{1}{m} \left[ \sum_{i=1}^m (1-y^{(i)}) \log (1-h_\theta(x^{(i)})) + y^{(i)} \log h_\theta(x^{(i)}) \right] \\ | + | J(\theta) = - \frac{1}{m} \left[ \sum_{i=1}^{m} \sum_{j=1}^{k} 1\left\{y^{(i)} = j\right\} \log \frac{e^{\theta_j^T x^{(i)}}}{\sum_{l=1}^k e^{ \theta_l^T x^{(i)} }} \right] |
| - | &= - \frac{1}{m} \left[ \sum_{i=1}^{m} \sum_{j=0}^{1} 1\left\{y^{(i)} = j\right\} \log p(y^{(i)} = j | x^{(i)} ; \theta) \right]
| + | + \frac{\lambda}{2} \sum_{i=1}^k \sum_{j=0}^n \theta_{ij}^2 |
| | \end{align} | | \end{align} |
| | </math> | | </math> |
| | | | |
| - | '''一审''':
| |
| - | 值得注意的是，上述公式是logistic回归代价函数的一个泛化版。 logistic回归代价函数 可以改写如下：
| |
| | | | |
| - | <math> | + | 有了这个权重衰减项以后 (<math>\textstyle \lambda > 0</math>)，代价函数就变成了严格的凸函数，这样就可以保证得到唯一的解了。 此时的 Hessian矩阵变为可逆矩阵，并且因为<math>\textstyle J(\theta)</math>是凸函数，梯度下降法和 L-BFGS 等算法可以保证收敛到全局最优解。 |
| | + | |
| | + | |
| | + | 为了使用优化算法，我们需要求得这个新函数 <math>\textstyle J(\theta)</math> 的导数，如下： |
| | + | |
| | + | :<math> |
| | \begin{align} | | \begin{align} |
| - | J(\theta) &= -\frac{1}{m} \left[ \sum_{i=1}^m (1-y^{(i)}) \log (1-h_\theta(x^{(i)})) + y^{(i)} \log h_\theta(x^{(i)}) \right] \\ | + | \nabla_{\theta_j} J(\theta) = - \frac{1}{m} \sum_{i=1}^{m}{ \left[ x^{(i)} ( 1\{ y^{(i)} = j\} - p(y^{(i)} = j | x^{(i)}; \theta) ) \right] } + \lambda \theta_j |
| - | &= - \frac{1}{m} \left[ \sum_{i=1}^{m} \sum_{j=0}^{1} 1\left\{y^{(i)} = j\right\} \log p(y^{(i)} = j | x^{(i)} ; \theta) \right]
| + | |
| | \end{align} | | \end{align} |
| | </math> | | </math> |
| | | | |
| - | '''原文''':
| |
| | | | |
| - | The softmax cost function is similar, except that we now sum over the <math>k</math> different possible values
| + | 通过最小化 <math>\textstyle J(\theta)</math>，我们就能实现一个可用的 softmax 回归模型。 |
| - | of the class label. Note also that in softmax regression, we have that
| + | |
| - | <math>
| + | |
| - | p(y^{(i)} = j | x^{(i)} ; \theta) = \frac{e^{\theta_j^T x^{(i)}}}{\sum_{l=1}^k e^{ \theta_l^T x^{(i)}} }
| + | |
| - | </math>. | + | |
| - | '''译文''':
| + | |
| | | | |
| - | 可以看到，Softmax损失函数与logistic 损失函数在形式上非常类似，只是在Softmax损失函数将类标的开 k个可能值进行了累加，另外，
| |
| | | | |
| - | '''一审''':
| + | ==Softmax回归与Logistic 回归的关系== |
| | | | |
| - | 除了我们是对 k 个分类标记的概率值求和之外，Softmax回归的代价函数和上式是十分相似的。我们可以注意到在Softmax回归中概率值为：
| + | 当类别数 <math>\textstyle k = 2</math> 时，softmax 回归退化为 logistic 回归。这表明 softmax 回归是 logistic 回归的一般形式。具体地说，当 <math>\textstyle k = 2</math> 时，softmax 回归的假设函数为： |
| | | | |
| - | '''原文''':
| + | :<math> |
| | + | \begin{align} |
| | + | h_\theta(x) &= |
| | | | |
| - | There is no known closed-form way to solve for the minimum of <math>J(\theta)</math>, and thus as usual we'll resort to an iterative
| + | \frac{1}{ e^{\theta_1^Tx} + e^{ \theta_2^T x^{(i)} } } |
| - | optimization algorithm such as gradient descent or L-BFGS. Taking derivatives, one can show that the gradient is:
| + | \begin{bmatrix} |
| - | | + | e^{ \theta_1^T x } \\ |
| - | <math>
| + | e^{ \theta_2^T x } |
| - | \begin{align}
| + | \end{bmatrix} |
| - | \nabla_{\theta_j} J(\theta) = - \frac{1}{m} \sum_{i=1}^{m}{ \left[ x^{(i)} \left( 1\{ y^{(i)} = j\} - p(y^{(i)} = j | x^{(i)}; \theta) \right) \right] }
| + | |
| | \end{align} | | \end{align} |
| | </math> | | </math> |
| | | | |
| - | '''译文''':
| |
| - | 对于<math>J(\theta)</math>，现在还没有一个闭合形式的方法来求解，因此，我们使用一个迭代的优化算法（例如梯度下降法，或 L-BFGS）来求解<math>J(\theta)</math>。经过求导，我们得到梯度公式如下：
| |
| | | | |
| - | <math> | + | 利用softmax回归参数冗余的特点，我们令 <math>\textstyle \psi = \theta_1</math>，并且从两个参数向量中都减去向量 <math>\textstyle \theta_1</math>，得到: |
| | + | |
| | + | :<math> |
| | \begin{align} | | \begin{align} |
| - | \nabla_{\theta_j} J(\theta) = - \frac{1}{m} \sum_{i=1}^{m}{ \left[ x^{(i)} \left( 1\{ y^{(i)} = j\} - p(y^{(i)} = j | x^{(i)}; \theta) \right) \right] }
| + | h(x) &= |
| - | \end{align}
| + | |
| - | </math>
| + | |
| | | | |
| - | '''一审''':
| + | \frac{1}{ e^{\vec{0}^Tx} + e^{ (\theta_2-\theta_1)^T x^{(i)} } } |
| - | 对于<math>J(\theta)</math>，现在还没有一个闭合形式的方法来求解，因此，我们使用一个迭代的优化算法（例如梯度下降法，或 L-BFGS）来求解<math>J(\theta)</math>。经过求导，我们得到梯度公式如下：
| + | \begin{bmatrix} |
| | + | e^{ \vec{0}^T x } \\ |
| | + | e^{ (\theta_2-\theta_1)^T x } |
| | + | \end{bmatrix} \\ |
| | | | |
| - | <math>
| + | |
| - | \begin{align} | + | &= |
| - | \nabla_{\theta_j} J(\theta) = - \frac{1}{m} \sum_{i=1}^{m}{ \left[ x^{(i)} \left( 1\{ y^{(i)} = j\} - p(y^{(i)} = j | x^{(i)}; \theta) \right) \right] } | + | \begin{bmatrix} |
| | + | \frac{1}{ 1 + e^{ (\theta_2-\theta_1)^T x^{(i)} } } \\ |
| | + | \frac{e^{ (\theta_2-\theta_1)^T x }}{ 1 + e^{ (\theta_2-\theta_1)^T x^{(i)} } } |
| | + | \end{bmatrix} \\ |
| | + | |
| | + | &= |
| | + | \begin{bmatrix} |
| | + | \frac{1}{ 1 + e^{ (\theta_2-\theta_1)^T x^{(i)} } } \\ |
| | + | 1 - \frac{1}{ 1 + e^{ (\theta_2-\theta_1)^T x^{(i)} } } \\ |
| | + | \end{bmatrix} |
| | \end{align} | | \end{align} |
| | </math> | | </math> |
| | | | |
| | | | |
| - | '''原文''': | + | 因此，用 <math>\textstyle \theta'</math>来表示<math>\textstyle \theta_2-\theta_1</math>，我们就会发现 softmax 回归器预测其中一个类别的概率为 <math>\textstyle \frac{1}{ 1 + e^{ (\theta')^T x^{(i)} } }</math>，另一个类别概率的为 <math>\textstyle 1 - \frac{1}{ 1 + e^{ (\theta')^T x^{(i)} } }</math>，这与 logistic回归是一致的。 |
| | + | |
| | + | |
| | + | ==Softmax 回归 vs. k 个二元分类器== |
| | + | |
| | + | 如果你在开发一个音乐分类的应用，需要对k种类型的音乐进行识别，那么是选择使用 softmax 分类器呢，还是使用 logistic 回归算法建立 k 个独立的二元分类器呢？ |
| | + | |
| | + | 这一选择取决于你的类别之间是否互斥，例如，如果你有四个类别的音乐，分别为：古典音乐、乡村音乐、摇滚乐和爵士乐，那么你可以假设每个训练样本只会被打上一个标签（即：一首歌只能属于这四种音乐类型的其中一种），此时你应该使用类别数 <math>k=4</math> 的softmax回归。（如果在你的数据集中，有的歌曲不属于以上四类的其中任何一类，那么你可以添加一个“其他类”，并将类别数 <math>k</math> 设为5。） |
| | + | |
| | + | 如果你的四个类别如下：人声音乐、舞曲、影视原声、流行歌曲，那么这些类别之间并不是互斥的。例如：一首歌曲可以来源于影视原声，同时也包含人声 。这种情况下，使用4个二分类的 logistic 回归分类器更为合适。这样，对于每个新的音乐作品 ，我们的算法可以分别判断它是否属于各个类别。 |
| | + | |
| | + | 现在我们来看一个计算视觉领域的例子，你的任务是将图像分到三个不同类别中。(i) 假设这三个类别分别是：室内场景、户外城区场景、户外荒野场景。你会使用sofmax回归还是 3个logistic 回归分类器呢？ (ii) 现在假设这三个类别分别是室内场景、黑白图片、包含人物的图片，你又会选择 softmax 回归还是多个 logistic 回归分类器呢？ |
| | | | |
| - | Recall the meaning of the "<math>\nabla_{\theta_j}</math>" notation. In particular, <math>\nabla_{\theta_j} J(\theta)</math>
| + | 在第一个例子中，三个类别是互斥的，因此更适于选择softmax回归分类器 。而在第二个例子中，建立三个独立的 logistic回归分类器更加合适。 |
| - | is itself a vector, so that its <math>l</math>-th element is <math>\frac{\partial J(\theta)}{\partial \theta_{jl}}</math>
| + | |
| - | the partial derivative of <math>J(\theta)</math> with respect to the <math>l</math>-th element of <math>\theta_j</math>.
| + | |
| | | | |
| | | | |
| - | '''译文''':
| |
| - | 让我们来回顾一下 "<math>\nabla_{\theta_j}</math>" 的含义， <math>\nabla_{\theta_j} J(\theta)</math>是一个向量，因此，它的第 l个元素<math>\frac{\partial J(\theta)}{\partial \theta_{jl}}</math>是<math>J(\theta)</math>对<math>\theta_j</math>的第l个元素求偏导后的值。
| |
| | | | |
| - | '''一审''':
| + | ==中英文对照== |
| - | 让我们来回顾一下 符号 "<math>\nabla_{\theta_j}</math>" 的含义。特别地， <math>\nabla_{\theta_j} J(\theta)</math>本身是一个向量，因此它的第 l个元素<math>\frac{\partial J(\theta)}{\partial \theta_{jl}}</math>是<math>J(\theta)</math>对<math>\theta_j</math>的第l个分量的偏导数。
| + | |
| | | | |
| - | '''原文''':
| + | :Softmax回归 Softmax Regression |
| | + | :有监督学习 supervised learning |
| | + | :无监督学习 unsupervised learning |
| | + | :深度学习 deep learning |
| | + | :logistic回归 logistic regression |
| | + | :截距项 intercept term |
| | + | :二元分类 binary classification |
| | + | :类型标记 class labels |
| | + | :估值函数/估计值 hypothesis |
| | + | :代价函数 cost function |
| | + | :多元分类 multi-class classification |
| | + | :权重衰减 weight decay |
| | | | |
| - | Armed with this formula for the derivative, one can then plug it into an algorithm such as gradient descent, and have it
| |
| - | minimize <math>J(\theta)</math>. For example, with the standard implementation of gradient descent, on each iteration
| |
| - | we would perform the update <math>\theta_j := \theta_j - \alpha \nabla_{\theta_j} J(\theta)</math> (for each <math>j=1,\ldots,k</math>).
| |
| | | | |
| - | When implementing softmax regression, we will typically use a modified version of the cost function described above;
| + | ==中文译者== |
| - | specifically, one that incorporates weight decay. We describe the motivation and details below.
| + | |
| | | | |
| - | '''译文''':
| + | 曾俊瑀（knighterzjy@gmail.com）, 王方（fangkey@gmail.com），王文中（wangwenzhong@ymail.com） |
| - | 有了上面的偏导公式以后，我们可以将它带入到算法中来最小化 <math>J(\theta)</math>。例如，使用标准的梯度下降法，在每一次迭代过程中，我们更新 <math>\theta_j := \theta_j - \alpha \nabla_{\theta_j} J(\theta)</math>。
| + | |
| - | 在实际的 softmax 实现过程中，我们通常使用一个改进版的损失函数（一个加入了权重 decay 的函数），在下面会详细讲到。
| + | |
| | | | |
| - | '''一审''':
| |
| - | 有了上面的偏导数公式以后，我们就可以将它带入到梯度下降法等算法中，来使<math>J(\theta)</math>最小化。 例如，在梯度下降法标准实现的每一次迭代中，我们需要进行如下更新 ：<math>\theta_j := \theta_j - \alpha \nabla_{\theta_j} J(\theta)</math>（对于每一个 <math>j=1,\ldots,k</math>）
| |
| - | 当实现 softmax 回归算法时， 我们通常会使用 上述代价函数的一个改进版本。具体来说，就是和 权重衰减 一起使用。我们接下来会描述使用它的动机和细节。
| |
| | | | |
| | + | {{Softmax回归}} |
| | | | |
| - | == 3 ==
| |
| | | | |
| - | == 4 ==
| |
| | | | |
| - | == 5 ==
| + | {{Languages|Softmax_Regression|English}} |
