Feature extraction using convolution

In the sparse autoencoder, one design choice that we had made was to "fully connect" all the hidden units to all the input units. On the relatively small images that we were working with (e.g., 8x8 patches for the sparse autoencoder assignment, 28x28 images for the MNIST dataset), it was computationally feasible to learn features on the entire image. However, with larger images (e.g., 96x96 images) learning features that span the entire image (fully connected networks) is very computationally expensive--you would have about <math>10^4</math> input units, and assuming you want to learn 100 features, you would have on the order of <math>10^6</math> parameters to learn. The feedforward and backpropagation computations would also be about <math>10^2</math> times slower, compared to 28x28 images.

In the sparse autoencoder, one design choice that we had made was to "fully connect" all the hidden units to all the input units. On the relatively small images that we were working with (e.g., 8x8 patches for the sparse autoencoder assignment, 28x28 images for the MNIST dataset), it was computationally feasible to learn features on the entire image. However, with larger images (e.g., 96x96 images) learning features that span the entire image (fully connected networks) is very computationally expensive--you would have about <math>10^4</math> input units, and assuming you want to learn 100 features, you would have on the order of <math>10^6</math> parameters to learn. The feedforward and backpropagation computations would also be about <math>10^2</math> times slower, compared to 28x28 images.

在稀疏自编码中章节中，其中一种我们谈到的设计选择是全联通网络：把所有隐含的单元跟所有的输入单元都全部连接起来。对于我们在其他章节中曾经用到过的相对较小的图像，（如在稀疏自编码的作业中用到过的8 X 8的小块图像，在MNIST数据集中用到过的28 X 28的小块图像），从计算角度而言，学习到整个图像的特征是可行的。然而，当目标是更大的图像时，（如96x96的图像），要通过这种全联通网络的这种方法来学习整幅图像上的特征，从计算角度而言，将变得非常耗时，因为此时，你要面对10的4次方（=10000）个输入单元，假设你要学习100个特征，则有10的6次方个参数需要去学习。与28x28的小块图像相比较，即使对于96x96的图像使用前向输送或者后向传导的计算方式，计算过程也会慢10的2次方（=100）倍。

在稀疏自编码中章节中，其中一种我们谈到的设计选择是全联通网络：把所有隐含的单元跟所有的输入单元都全部连接起来。对于我们在其他章节中曾经用到过的相对较小的图像，（如在稀疏自编码的作业中用到过的8 X 8的小块图像，在MNIST数据集中用到过的28 X 28的小块图像），从计算角度而言，学习到整个图像的特征是可行的。然而，当目标是更大的图像时，（如96x96的图像），要通过这种全联通网络的这种方法来学习整幅图像上的特征，从计算角度而言，将变得非常耗时，因为此时，你要面对10的4次方（=10000）个输入单元，假设你要学习100个特征，则有10的6次方个参数需要去学习。与28x28的小块图像相比较，即使对于96x96的图像使用前向输送或者后向传导的计算方式，计算过程也会慢10的2次方（=100）倍。

在稀疏自编码章节中，我们介绍了把输入层和隐含层进行“全连接”的设计。从计算的角度来讲，在其他章节中曾经用过的相对较小的图像（如在稀疏自编码的作业中用到过的8 X 8的小块图像，在MNIST数据集中用到过的28 X 28的小块图像），从整幅图像中计算特征是可行的。但是，如果是更大的图像（如96x96的图像），要通过这种全联通网络的这种方法来学习整幅图像上的特征，从计算角度而言，将变得非常耗时。你需要设计10的4次方（=10000）个输入单元，假设你要学习100个特征，那么就有10的6次方个参数需要去学习。与28x28的小块图像相比较， 96x96的图像使用前向输送或者后向传导的计算方式，计算过程也会慢10的2次方（=100）倍。

在稀疏自编码章节中，我们介绍了把输入层和隐含层进行“全连接”的设计。从计算的角度来讲，在其他章节中曾经用过的相对较小的图像（如在稀疏自编码的作业中用到过的8 X 8的小块图像，在MNIST数据集中用到过的28 X 28的小块图像），从整幅图像中计算特征是可行的。但是，如果是更大的图像（如96x96的图像），要通过这种全联通网络的这种方法来学习整幅图像上的特征，从计算角度而言，将变得非常耗时。你需要设计10的4次方（=10000）个输入单元，假设你要学习100个特征，那么就有10的6次方个参数需要去学习。与28x28的小块图像相比较， 96x96的图像使用前向输送或者后向传导的计算方式，计算过程也会慢10的2次方（=100）倍。