python - model.eval() 在 pytorch 中做什么？

Question

什么时候应该使用.eval()？我知道它应该让我“评估我的模型”。如何在训练时将其关闭？

培训示例 code使用.eval()。

Answer 1

model.eval() 是模型的某些特定层/部分的一种开关，这些特定层/部分在训练和推理(评估)期间表现不同。例如，Dropouts Layers、BatchNorm Layers 等。您需要在模型评估期间关闭它们，.eval() 将为您完成此操作。此外，评估/验证的常见做法是结合使用 torch.no_grad() 和 model.eval() 来关闭梯度计算:

# evaluate model:
model.eval()

with torch.no_grad():
    ...
    out_data = model(data)
    ...

但是，不要忘记在评估步骤后返回到训练模式:

# training step
...
model.train()
...