神经网络

From Ufldl

Jump to: navigation, search
Line 40: Line 40:
如图,我们使用圆圈来表示神经网络的输入,标上“+1”的圆圈被称为'''偏置节点''',也就是截距项。神经网络最左边的一层叫做'''输入层''',最右的一层叫做'''输出层'''(本例中,输出层只有一个节点)。中间所有节点组成的一层叫做'''隐藏层''',因为我们不能在训练样本集中观测到它们的值。同时可以看到,以上神经网络的例子中有3个'''输入单元'''(偏置单元不计在内),3个'''隐藏单元'''及一个'''输出单元'''。
如图,我们使用圆圈来表示神经网络的输入,标上“+1”的圆圈被称为'''偏置节点''',也就是截距项。神经网络最左边的一层叫做'''输入层''',最右的一层叫做'''输出层'''(本例中,输出层只有一个节点)。中间所有节点组成的一层叫做'''隐藏层''',因为我们不能在训练样本集中观测到它们的值。同时可以看到,以上神经网络的例子中有3个'''输入单元'''(偏置单元不计在内),3个'''隐藏单元'''及一个'''输出单元'''。
-
我们用<math>n_l</math>表示网络的层数,本例中<math>n_l=3</math>,我们将第<math>l</math>层记为<math>L_l</math>,于是<math>L_l</math>是输入层,输出层是<math>L_{n_l}</math>。本例神经网络有参数<math>(W,b) = (W^{(1)}, b^{(1)}, W^{(2)}, b^{(2)})</math>,其中<math>W^{(l)}_{ij}</math>第<math>l</math>层第<math>j</math>单元与第<math>l+1</math>层第<math>i</math>单元之间的联接参数(其实就是连接线上的权重,注意标号顺序),<math>b^{(l)}_i</math>是第<math>l+1</math>层第<math>i</math>单的偏置项。因此,本例中,<math>W^{(1)} \in \Re^{3\times 3}</math>,<math>W^{(2)} \in \Re^{1\times 3}</math>。注意,没有其他单元连向偏置单元(即偏置单元没有输入),因为它们总是输出+1。同时,我们用<math>s_l</math>表示第<math>l</math>层的节点数(偏置单元不计在内)。
+
我们用<math>{n}_{l}</math>表示网络的层数,本例中<math>{n}_{l}=3</math>,我们将第<math>l</math>层记为<math>L_l</math>,于是<math>L_l</math>是输入层,输出层是<math>L_{n_l}</math>。本例神经网络有参数<math>(W,b) = (W^{(1)}, b^{(1)}, W^{(2)}, b^{(2)})</math>,其中<math>W^{(l)}_{ij}</math>第<math>l</math>层第<math>j</math>单元与第<math>l+1</math>层第<math>i</math>单元之间的联接参数(其实就是连接线上的权重,注意标号顺序),<math>b^{(l)}_i</math>是第<math>l+1</math>层第<math>i</math>单的偏置项。因此,本例中,<math>W^{(1)} \in \Re^{3\times 3}</math>,<math>W^{(2)} \in \Re^{1\times 3}</math>。注意,没有其他单元连向偏置单元(即偏置单元没有输入),因为它们总是输出+1。同时,我们用<math>s_l</math>表示第<math>l</math>层的节点数(偏置单元不计在内)。
我们用<math>a^{(l)}_i</math>表示第<math>l</math>层第<math>i</math>号单元的'''激活值'''(输出值)。当<math>l=1</math>时,<math>a^{(1)}_i = x_i</math>,也就是第<math>i</math>个输入值(输入值的第<math>i</math>个特征)。对于给定参数集合<math>W,b</math>,我们的神经网络就按照函数<math>h_{W,b}(x)</math>计算输出结果。本例神经网络的计算过程就由以下步骤表示:
我们用<math>a^{(l)}_i</math>表示第<math>l</math>层第<math>i</math>号单元的'''激活值'''(输出值)。当<math>l=1</math>时,<math>a^{(1)}_i = x_i</math>,也就是第<math>i</math>个输入值(输入值的第<math>i</math>个特征)。对于给定参数集合<math>W,b</math>,我们的神经网络就按照函数<math>h_{W,b}(x)</math>计算输出结果。本例神经网络的计算过程就由以下步骤表示:

Revision as of 02:57, 14 March 2013

Personal tools