python - 将 256x256(不是 299x299)的图像大小输入 Inception v3 模型(PyTorch)并且有效吗？

Question

我正在 Pytorch 上测试预训练的 inception v3 模型。我给它提供了一个 256x256 的图像大小，并将其调整为 299x299。在这两种情况下，图像都被正确分类。

有人可以解释为什么 PyTorch 预训练模型可以接受不是 299x299 的图像吗？

Answer 1

这是因为 inception v3 的 pytorch 实现在全连接层之前使用了自适应平均池化层。

如果您查看 torchvision/models/inception.py 中的 Inception3 类，对于您的问题最感兴趣的操作是 x = F.adaptive_avg_pool2d(x, (1, 1)).自 average pooling is adaptive池化之前 x 的高度和宽度与输出形状无关。换句话说，在这个操作之后我们总是得到一个大小为 [b,c,1,1] 的张量，其中 b 和 c 是批量大小和 channel 数分别。这样，全连接层的输入始终具有相同的大小，因此不会引发异常。

也就是说，如果您使用预训练的 inception v3 权重，那么模型最初是针对大小为 299x299 的输入进行训练的。使用不同大小的输入可能会对损失/准确性产生负面影响，尽管较小的输入图像几乎肯定会减少计算时间和内存占用，因为特征映射会更小。