python - PyTorch:不一致的预训练 VGG 输出

Question

当使用 torchvision.models 模块加载预训练的 VGG 网络并使用它对任意 RGB 图像进行分类时，网络的输出在每次调用之间明显不同。为什么会这样？根据我的理解，VGG 前向传播的任何部分都不应该是不确定的。

这是一个 MCVE:

import torch
from torchvision.models import vgg16

vgg = vgg16(pretrained=True)

img = torch.randn(1, 3, 256, 256)

torch.all(torch.eq(vgg(img), vgg(img))) # result is 0, but why?

Answer 1

vgg16 有一个 nn.Dropout层，在训练期间，随机丢弃其输入的 50%。在测试期间，您应该通过将网络模式设置为“评估”模式来“关闭”此行为:

vgg.eval()
torch.all(torch.eq(vgg(img), vgg(img)))

Out[73]: tensor(1, dtype=torch.uint8)

请注意，还有其他具有随机行为和不同行为的层用于训练和评估(例如，BatchNorm)。因此，切换到 eval() 很重要评估训练模型之前的模式。