python - 我可以将多个不同的图像作为 channel 吗？

Question

通常，我们设置输入图像'高度'，'宽度'，' channel '。

在“ channel ”中，我们将灰度图片设置为1，将RGB图片设置为3。

我的问题是，使用这个 channel 应该是同一张图片吗？就像上面提到的。

或者我可以将一系列图像设置为 channel ？

(例如，我在某一时刻有 10 个在空间中离散的图像，因此我将 channel 10 设置为一个输入)

会有什么问题吗？这样做是否正确？

或者我应该为这 10 个图像设置 10 个输入？

感谢您的回答!

Answer 1

不，它不会相同，因为输入层的 channel 数决定了卷积滤波器的形状，从而决定了参数的数量及其应用方式。

比较这两个卷积网络:

• [32x32x3] 输入形状，batch_size=5，5x5 感受野，那么 conv 层中的每个神经元的权重将为输入体积中的 [5x5x3] 区域，总共 5*5*3 = 75 权重(以及 +1 偏差参数)。
• [32x32x15] 输入形状，batch_size=1，相同的 5x5 感受野，那么每个神经元都会有一个 的权重[5x5x15] 区域，总共 5*5*15 = 325 权重(以及相同的 +1 偏差参数)。

在这两种情况下，两个卷积层都会看到 15 个 RGB 图像，但第二个网络将使用 5 倍以上的参数来学习相同的数据，而第一个网络将为不同的图像重用相同的参数。另请注意，第二个网络将为每个第一图像、每个第二图像等提供专用参数。

显然，第一种方法更好，不仅因为它节省了资源，而且对于批量训练图像的顺序也是不变的。