math - 平移等方差及其与卷积层和空间池化层的关系

Question

在卷积神经网络模型的背景下，我曾经听到过这样的说法:

One desirable property of convolutions is that they are translationally equivariant; and the introduction of spatial pooling can corrupt the property of translationally equivalent.

这句话是什么意思，为什么？

Answer 1

您很可能是从 Bengio's book 那里听到的。 。我会尽力给你解释。

<小时/>

粗略地说，如果f(g(x)) = g(f(x))，则两个变换是等变的。在卷积和平移的情况下，意味着如果您convolve(translate(x))，它将与您translate(convolve(x))相同。这是所期望的，因为如果你的卷积在图像中找到猫的眼睛，那么如果你移动图像，它也会找到那只眼睛。

你可以自己看到这一点(我使用一维卷积只是因为它很容易计算东西)。让我们将 v = [4, 1, 3, 2, 3, 2, 9, 1] 与 k = [5, 1, 2] 进行卷积。结果将是 [27, 12, 23, 17, 35, 21]

现在让我们通过在 v 后面附加一些 v' = [8] + v 来移动 v。与 k 卷积，您将得到 [46, 27, 12, 23, 17, 35, 21]。正如您所看到的，结果只是之前的结果加上一些新的内容。

<小时/>

现在是关于空间池的部分。让我们对第一个结果和第二个结果进行大小为 3 的最大池化。在第一种情况下，您将得到 [27, 35]，在第二种情况下，您将得到 [46, 35, 21]。正如您所看到的 27 不知何故消失了(结果已损坏)。如果您采用平均池化，则会更加损坏。

附注最大/最小池化是所有池化中最具平移不变性的(如果您可以这么说，如果您比较未损坏元素的数量)。