Feature extraction using convolution

【初译】全联通网络

【初译】全联通网络

在稀疏自编码中章节中，其中一种我们谈到的设计选择是全联通网络：把所有隐含的单元跟所有的输入单元都全部连接起来。对于我们在其他章节中曾经用到过的相对较小的图像，（如在稀疏自编码的作业中用到过的8 X 8的小块图像，在MNIST数据集中用到过的28 X 28的小块图像），从计算角度而言，学习到整个图像的特征是可行的。然而，当目标是更大的图像时，（如96x96的图像），要通过这种全联通网络的这种方法来学习整幅图像上的特征，从计算角度而言，将变得非常耗时，因为此时，你要面对10的4次方（=10000）个输入单元，假设你要学习100个特征，则有10的6次方个参数需要去学习。与28x28的小块图像相比较，即使对于96x96的图像使用前向输送或者后向传导的计算方式，计算过程也会慢10的2次方（=100）倍。

在稀疏自编码中章节中，其中一种我们谈到的设计选择是全联通网络：把所有隐含的单元跟所有的输入单元都全部连接起来。对于我们在其他章节中曾经用到过的相对较小的图像，（如在稀疏自编码的作业中用到过的8 X 8的小块图像，在MNIST数据集中用到过的28 X 28的小块图像），从计算角度而言，学习到整个图像的特征是可行的。然而，当目标是更大的图像时，（如96x96的图像），要通过这种全联通网络的这种方法来学习整幅图像上的特征，从计算角度而言，将变得非常耗时，因为此时，你要面对10的4次方（=10000）个输入单元，假设你要学习100个特征，则有10的6次方个参数需要去学习。与28x28的小块图像相比较，即使对于96x96的图像使用前向输送或者后向传导的计算方式，计算过程也会慢10的2次方（=100）倍。

【一审】全联通网络

【一审】全联通网络

在稀疏自编码章节中，我们介绍了把输入层和隐含层进行“全连接”的设计。从计算的角度来讲，在其他章节中曾经用过的相对较小的图像（如在稀疏自编码的作业中用到过的8 X 8的小块图像，在MNIST数据集中用到过的28 X 28的小块图像），从整幅图像中计算特征是可行的。但是，如果是更大的图像（如96x96的图像），要通过这种全联通网络的这种方法来学习整幅图像上的特征，从计算角度而言，将变得非常耗时。你需要设计10的4次方（=10000）个输入单元，假设你要学习100个特征，那么就有10的6次方个参数需要去学习。与28x28的小块图像相比较， 96x96的图像使用前向输送或者后向传导的计算方式，计算过程也会慢10的2次方（=100）倍。

在稀疏自编码章节中，我们介绍了把输入层和隐含层进行“全连接”的设计。从计算的角度来讲，在其他章节中曾经用过的相对较小的图像（如在稀疏自编码的作业中用到过的8 X 8的小块图像，在MNIST数据集中用到过的28 X 28的小块图像），从整幅图像中计算特征是可行的。但是，如果是更大的图像（如96x96的图像），要通过这种全联通网络的这种方法来学习整幅图像上的特征，从计算角度而言，将变得非常耗时。你需要设计10的4次方（=10000）个输入单元，假设你要学习100个特征，那么就有10的6次方个参数需要去学习。与28x28的小块图像相比较， 96x96的图像使用前向输送或者后向传导的计算方式，计算过程也会慢10的2次方（=100）倍。