python - model.train() 在 PyTorch 中做了什么？

Question

它是否在nn.Module中调用forward()？我想当我们调用模型时，正在使用 forward 方法。为什么我们需要指定 train()？

Answer 1

model.train() 告诉您的模型您正在训练模型。这有助于通知诸如 Dropout 和 BatchNorm 等层，这些层旨在在训练和评估期间表现不同。例如，在训练模式下，BatchNorm 更新每个新批处理的移动平均值；而对于评估模式，这些更新被卡住。

更多详情:model.train() 设置训练模式(见 source code)。您可以调用 model.eval() 或 model.train(mode=False) 来告诉您正在测试。期望 train 函数来训练模型有点直观，但事实并非如此。它只是设置模式。