image - 平均图像减法是如何工作的？

Question

作为前言，我是 ML/CV 领域的新手，目前正在使用 Caffe 训练自定义卷积网络。

我对平均图像减法感兴趣，以在我的训练图像上实现基本数据标准化。但是，我对均值减法如何工作以及它到底有什么好处感到困惑。

我知道可以从训练集中计算“平均图像”，然后从训练、验证和测试集中减去该图像，以使网络对不同背景和照明条件不那么敏感。

这是否涉及计算每个图像中所有像素的平均值，并对它们求平均值？或者，每个像素坐标的值是该组中所有图像的平均值(即所有图像的位置 (1,1) 处像素的平均值)？这可能要求所有图像具有相同的尺寸...

此外，对于彩色图像(3 channel )，每个 channel 的值是否单独平均？

如有任何澄清，我们将不胜感激。

Answer 1

在深度学习中，关于如何减去均值图像，实际上有不同的实践。

减去平均图像

第一种方法是减去平均图像，如 @lejlot 所描述的。但如果您的数据集图像大小不同，则会出现问题。在使用此方法之前，您需要确保所有数据集图像的大小相同(例如，调整原始图像的大小并从原始图像中裁剪相同大小的补丁)。它在原始ResNet论文中使用，参见reference here 。

减去每个 channel 的平均值

第二种方法是从原始图像中减去每 channel 均值，这种方法更流行。这样，您就不需要调整原始图像的大小或裁剪原始图像。您只需从训练集中计算每个 channel 的平均值即可。这在深度学习中广泛使用，例如 Caffe:here和 here 。喀拉斯:here 。 PyTorch:here 。 (PyTorch 还将每 channel 值除以标准差。)