networking - 卷积神经网络 (LeNet 5)。 C3、C5层的构建

Question

http://i60.tinypic.com/no7tye.png图 1 卷积神经网络(LeNet5)

在卷积神经网络 (LeNet 5) 上，图 1 的卷积过程 (C1)、最大池化(子采样)(S2、S4)层是通过迭代方式计算的。但是我不明白如何正确地进行 C3(卷积)层。

http://tinypic.com/r/fvzp86/8图2 进行C1层

首先，我们收到一个 MNIST 32*32 灰度数字图像作为输入，将其视为大小为 32*32 的字节数组。在 C1 层中，我们有 6 个不同的(不同的)内核，其中填充了随机的小值。从 1 到 6 的每个内核用于构建 6 个不同的特征图(每个特征图一个内核)。将大小为 5*5 的感受野从左到右移动一个 1 像素步长(偏差)，将图像数组中的值乘以内核值，添加偏差并通过 sigmoid 函数。结果是当前构建的特征图的 i,j。一旦我们到达图像数组的末尾，我们就完成了当前特征图的构建。

http://i57.tinypic.com/rk0jk9.jpg图3 进行S2层

接下来我们开始生成 S2 层，同样会有 6 个特征图，因为我们对 C1 层的 6 个特征图分别使用 2*2 感受野(使用最大池化操作，在 2*2 中选择最大值感受野)。 C1、S2、S4 的程序以迭代方式进行。

http://i58.tinypic.com/ifsidu.png图4 C3层连接列表

但接下来我们需要计算 C3 层。根据各种论文，存在一个连接图。你能说一下在连接列表下感知到的是什么吗？这是否意味着我们仍将像在 C1 层中那样使用 5*5 感受野。例如，我们看到在第一行中有一个标记的特征图对应于列(0、4、5、6、9、10、11、12、14、15)。这是否意味着要构建 C3 层的 0,4,5,6,9,10,11,12,14,15 个特征图，我们将在 S2 层的第一个特征图下以 5*5 感受野进行卷积运算。卷积运算时会用到什么具体的kernel，或者像我们在C1层做的那样，又需要随机生成16个用小数字填充的kernel。如果是，我们会看到 C3 的特征图 0、4、5、6、9、10、11、12、14、15 颜色为浅灰色、浅灰色、深灰色、浅灰色、深灰色、浅灰色、深灰色，浅灰色，浅灰色，深灰色。可以清楚地看到 S2 的第一个特征图是浅灰色的，但只有 0,4,6,10,12,14 是浅灰色的。所以也许 C3 中 16 个特征图的构建以不同的方式进行。请问C5层是怎么产生的，会不会有一定的connection list？

Answer 1

免责声明:我刚刚开始这个话题，所以请指出我概念中的错误!

1. 原文Lenet paper ，在第 8 页，您可以找到将 S2 的不同层链接到 C3 的层的连接映射。这个连接列表告诉我们 S2 的哪些层正在与内核进行卷积(细节即将到来)以产生 C3 的层。

2. 您会注意到 S2 的每一层都涉及恰好 10 个(不是全部 16 个)C3 层。这表明内核的大小为 (5x5x6) x 10。

3. 在 C1 中，我们有一个 (5x5) x 6 内核，即具有 6 个特征图的 5x5。这是二维卷积。在 C3 中，我们有 (5x5x6) x 10 内核，即具有 10 个特征图的“内核盒”。这 10 个特征映射和内核盒结合起来产生 16 个层而不是 6 个，因为它们不是完全连接的。

4. 关于内核权重的生成，这取决于算法。它可以是随机的、预定义的或使用某种方案，例如咖啡里的泽维尔。

令我困惑的是内核细节没有明确定义，必须从给定的信息中导出。

更新:C5 是如何产生的？

C5 层是一个具有 120 个特征图的卷积层。 C5 特征图的大小为 1x1，因为在 S4 上应用了 5x5 内核。在 32x32 输入的情况下，我们也可以说 S4 和 C5 是完全连接的。应用于 S4 以获得 C5 的内核大小为 (5x5x16) x 120(偏差未显示)。关于这 120 个内核盒如何连接到 S4 的细节在论文中没有明确给出。然而，作为提示，提到 S4 和 C5 是完全连接的。