python - Caffe GoogleNet 模型预测始终相同

Question

我正在尝试从 caffe 模型动物园运行预训练的 googlenet 模型(无微调)。模型和deploy.prototxt都是从https://github.com/BVLC/caffe/tree/master/models/bvlc_googlenet下载的

下面是我正在使用的代码:

net = caffe.Net('deploy.prototxt', 'bvlc_googlenet.caffemodel', caffe.TEST)
net.blobs['data'].reshape(1,3,224,224)

image_path = '1.png'
img = caffe.io.load_image(image_path)
img = caffe.io.resize( img, (224, 224, 3) )

# mean subtraction
img[0,:,:] -= 104 / 255.0
img[1,:,:] -= 117 / 255.0
img[2,:,:] -= 123 / 255.0

# 224,224,3 -> 3,224,224
img = np.transpose(img, (2, 0, 1))

out = net.forward(data=np.array([img]))['prob']
print(np.argmax(out))

看起来模型加载得很好，但是无论输入如何，它总是输出相同的类(885)。可能是什么原因？

UPD:实际上，无论我是否指的是减法，同样的问题也适用于其他模型，只是总是检测到的类发生了一些不同的变化。

Answer 1

我发现代码存在一些问题。首先，您应该在设置平均值之前使用 np.transpose，因为在 caffe.io.load 中，图像仍然具有形状 (224,224,3)。其次，您需要将图像从 [0,1] 重新缩放到 [0,255]。 caffe 也期望图像按一定的顺序排列。 Small explanation is given here 。因此，您必须将默认的 RGB 格式更改为 BGR 格式。

我建议使用转换器caffe.io.transformer，它干净地打包所有这些转换。

对于您的示例，带有变压器的代码将是:

transformer = caffe.io.Transformer({'data': net.blobs['data'].data.shape})
transformer.set_mean('data', np.array([104,117,123]))
transformer.set_transpose('data',(2,0,1))
transformer.set_channel_swap('data',(2,1,0))
transformer.set_raw_scale('data', 255.0)

image_path = 'cat.jpg'
img = caffe.io.load_image(image_path)
img = caffe.io.resize( img, (224, 224, 3) )

net.blobs['data'].reshape(1,3,224,224)
net.blobs['data'].data[:,:,:] = transformer.preprocess('data',img)
output = net.forward()
out = net.blobs['prob'].data[0].flatten()
labels = np.loadtxt(labels_file, str, delimiter='\t')
print(np.argmax(out))
print ('output label : ' + labels[out.argmax()])