Softmax回归
From Ufldl
Line 1: | Line 1: | ||
- | |||
==简介== | ==简介== | ||
Line 60: | Line 59: | ||
\end{bmatrix} | \end{bmatrix} | ||
</math> | </math> | ||
+ | |||
== 代价函数== | == 代价函数== | ||
Line 108: | Line 108: | ||
- | == | + | == Softmax回归模型参数化的特点== |
Softmax 回归有一个不寻常的特点:它有一个“冗余”的参数集。为了便于阐述这一特点,假设我们从参数向量 <math>\textstyle \theta_j</math> 中减去了向量 <math>\textstyle \psi</math>,这时,每一个 <math>\textstyle \theta_j</math> 都变成了 <math>\textstyle \theta_j - \psi</math>(<math>\textstyle j=1, \ldots, k</math>)。此时假设函数变成了以下的式子: | Softmax 回归有一个不寻常的特点:它有一个“冗余”的参数集。为了便于阐述这一特点,假设我们从参数向量 <math>\textstyle \theta_j</math> 中减去了向量 <math>\textstyle \psi</math>,这时,每一个 <math>\textstyle \theta_j</math> 都变成了 <math>\textstyle \theta_j - \psi</math>(<math>\textstyle j=1, \ldots, k</math>)。此时假设函数变成了以下的式子: | ||
Line 223: | Line 223: | ||
在第一个例子中,三个类别是互斥的,因此更适于选择softmax回归分类器 。而在第二个例子中,建立三个独立的 logistic回归分类器更加合适。 | 在第一个例子中,三个类别是互斥的,因此更适于选择softmax回归分类器 。而在第二个例子中,建立三个独立的 logistic回归分类器更加合适。 | ||
+ | |||
+ | |||
+ | ==中英文对照== | ||
+ | |||
+ | :Softmax回归 Softmax Regression | ||
+ | :有监督学习 supervised learning | ||
+ | :无监督学习 unsupervised learning | ||
+ | :深度学习 deep learning | ||
+ | :logistic回归 logistic regression | ||
+ | :截距项 intercept term | ||
+ | :二元分类 binary classification | ||
+ | :类型标记 class labels | ||
+ | :估值函数/估计值 hypothesis | ||
+ | :代价函数 cost function | ||
+ | :多元分类 multi-class classification | ||
+ | :权重衰减 weight decay | ||
Line 228: | Line 244: | ||
曾俊瑀(knighterzjy@gmail.com), 王方(fangkey@gmail.com),王文中(wangwenzhong@ymail.com) | 曾俊瑀(knighterzjy@gmail.com), 王方(fangkey@gmail.com),王文中(wangwenzhong@ymail.com) | ||
+ | |||
+ | |||
+ | {{Softmax回归}} | ||
+ | |||
+ | |||
+ | |||
+ | {{Languages|Softmax_Regression|English}} |