python - 如何在 Tensorflow 或 Pytorch 中实现特定位置的卷积滤波器？

Question

我想实现一个卷积层，为每个输出位置使用不同的卷积滤波器。具体来说，考虑输出为 16*16*128 (W * H * C) 的情况。我们没有 3*3*128 滤波器，而是 16*16 滤波器；每个尺寸为 3*3*128。这将导致大量的参数，但可能的情况是，每个 3*3*128 滤波器可能是相同的，除了按不同的常数缩放之外，并且可以通过侧网络学习常数。这样参数的数量就不会太多。

类似的想法在Dynamic Filter Networks中有简要介绍。 ，但我找不到位置特定过滤器的实现。我的问题是，如果我们想要一个特定于位置的卷积滤波器，如何在 Tensorflow 或 Pytorch 中实现它？我需要编写自己的操作还是有一些聪明的方法来使用提供的功能？如果我必须写一个OP，有什么技巧可以轻松实现这个想法吗？如有任何帮助，我们将不胜感激!

Answer 1

根据定义，卷积不特定于位置 - 这就是它成为卷积的原因。如果您希望推广卷积，请记住，最终卷积是简单线性运算的特殊情况。因此，您可以将“位置特定”卷积实现为具有非常特定的稀疏权重的全连接层 (nn.Linear)。