machine-learning - model.train(False) 和 required_grad = False 的区别

Question

我使用 Pytorch 库，并且正在寻找一种方法来卡住模型中的权重和偏差。
我看到了这两个选项:

model.train(False)

for param in model.parameters(): param.requires_grad = False

有什么区别(如果有的话)，我应该使用哪个来卡住模型的当前状态？

Answer 1

它们非常不同。
独立于反向传播过程，当您训练或评估模型时，某些层具有不同的行为。在 pytorch 中，只有 2 个:BatchNorm(我认为在评估时停止更新其运行均值和偏差)和 Dropout(仅在训练模式下丢弃值)。所以model.train()和 model.eval() (相当于 model.train(false) )只需设置一个 bool 标志来告诉这两个层“卡住自己”。请注意，这两层没有任何受后向操作影响的参数(batchnorm buffer 我认为在前向传递期间张量发生了变化)
另一方面，将所有参数设置为“requires_grad=false”只会告诉 pytorch 停止记录反向传播的梯度。这不会影响 BatchNorm 和 Dropout 层
如何卡住模型取决于您的用例，但我认为最简单的方法是使用 torch.jit.trace .这将为您的模型创建一个卡住副本，完全处于您调用 trace 时的状态。 .您的模型不受影响。
通常，你会打电话

model.eval()
traced_model = torch.jit.trace(model, input)