python - pytorch如何设置.requires_grad False

Question

我想卡住我的一些模型。按照官方文档:

with torch.no_grad():
    linear = nn.Linear(1, 1)
    linear.eval()
    print(linear.weight.requires_grad)

但它打印出 True 而不是 False。如果我想将模型设置为评估模式，我应该怎么做？

Answer 1

requires_grad=假

如果您想卡住模型的一部分并训练其余部分，您可以将要卡住的参数的 requires_grad 设置为 False。

例如，如果您只想保持 VGG16 的卷积部分固定:

model = torchvision.models.vgg16(pretrained=True)
for param in model.features.parameters():
    param.requires_grad = False

通过将 requires_grad 标志切换为 False，不会保存任何中间缓冲区，直到计算到达操作输入之一需要梯度的某个点.

火炬.no_grad()

使用上下文管理器 torch.no_grad 是实现该目标的另一种方式:在 no_grad 上下文中，所有计算结果都将具有 requires_grad =False，即使输入有 requires_grad=True。请注意，您将无法将梯度反向传播到 no_grad 之前的层。例如:

x = torch.randn(2, 2)
x.requires_grad = True

lin0 = nn.Linear(2, 2)
lin1 = nn.Linear(2, 2)
lin2 = nn.Linear(2, 2)
x1 = lin0(x)
with torch.no_grad():    
    x2 = lin1(x1)
x3 = lin2(x2)
x3.sum().backward()
print(lin0.weight.grad, lin1.weight.grad, lin2.weight.grad)

输出:

(None, None, tensor([[-1.4481, -1.1789],
         [-1.4481, -1.1789]]))

此处 lin1.weight.requires_grad 为真，但未计算梯度，因为操作是在 no_grad 上下文中完成的。

模型.eval()

如果您的目标不是微调，而是将模型设置为推理模式，最方便的方法是使用 torch.no_grad 上下文管理器。在这种情况下，您还必须将模型设置为评估模式，这是通过在 nn.Module 上调用 eval() 来实现的，因为示例:

model = torchvision.models.vgg16(pretrained=True)
model.eval()

此操作将层的属性 self.training 设置为 False，实际上这将改变操作的行为，例如 Dropout 或BatchNorm 在训练和测试时必须表现不同。