python - Caffe，如何从预训练网络进行预测

Question

我正在使用这段代码加载我的网络:

net = caffe.Classifier(MODEL_FILE, PRETRAINED,
                   mean=np.load(caffe_root + 'python/caffe/imagenet/ilsvrc_2012_mean.npy').mean(1).mean(1),
                   channel_swap=(2,1,0),
                   raw_scale=255,
                   image_dims=(256, 256))

我对三行有疑问。

1- mean=np.load(caffe_root + 'python/caffe/imagenet/ilsvrc_2012_mean.npy').mean(1).mean(1)

什么意思？我应该使用这个平均值还是另一个？如果是，我在哪里可以获得自定义平均值？我正在使用自定义数据集。

2- channel_swap=(2,1,0)

channel_swap 是什么意思？同样，我应该使用这个值还是自定义值？

最后一个

3- raw_scale=255

什么是 raw_scale？我应该使用什么值？

我正在使用 Cohn Kanade数据集。所有图像均为 64x64 且为灰度。

Answer 1

channel_swap 是将 RGB 反转为 BGR，如果您使用引用图像网络模型，这显然是必要的，基于评论在 [1] 中。在您的情况下，图像是灰度的，因此您可能没有三个 channel 。您可能需要将其设置为 (0, 0, 0)，但即便如此也可能无济于事(我不确定 channel_swap 的确切实现)。如果这没有帮助，最简单的解决方案可能是通过将每个像素分成三个值相等的值 (RGB) 来预处理您的数据。之后您可能会完全放弃 channel_swap，因为您的 channel 具有相同的值，并且交换它们是空操作。

平均值是将从您的输入数据中减去的值以使其居中。 (请记住，神经网络需要数据具有零均值，而输入图像通常具有正均值，因此需要减法)。您减去的均值应该与用于训练的均值相同，因此使用与模型关联的文件中的均值是正确的。但是，我不确定您是否应该对其调用 .mean(1) - 您是否从某个示例中获得了该行？如果是，那么这很可能是正确的做法。

raw_scale 是输入数据的比例。该模型期望像素被归一化，因此如果您的输入数据的值介于 0 和 255 之间，则将 raw_scale 设置为 255 是正确的。如果您的数据值介于 0 和 1 之间，则 raw_scale 应设置为 1。

最后，根据我对[2]中注释的理解，你不需要提供image_dims

[1] https://github.com/BVLC/caffe/blob/master/python/caffe/io.py#L204

[2] https://github.com/BVLC/caffe/blob/master/python/caffe/classifier.py#L18