python - pytorch 如何计算简单线性回归模型的梯度？

Question

我正在使用 pytorch 并试图了解简单线性回归模型的工作原理。

我正在使用一个简单的 LinearRegressionModel 类:

class LinearRegressionModel(nn.Module):
    def __init__(self, input_dim, output_dim):
        super(LinearRegressionModel, self).__init__()
        self.linear = nn.Linear(input_dim, output_dim)  

    def forward(self, x):
        out = self.linear(x)
        return out

model = LinearRegressionModel(1, 1)

接下来我实例化一个损失准则和一个优化器

criterion = nn.MSELoss()

optimizer = torch.optim.SGD(model.parameters(), lr=0.01)

最后我使用以下代码训练模型:

for epoch in range(epochs):
    if torch.cuda.is_available():
        inputs = Variable(torch.from_numpy(x_train).cuda())

    if torch.cuda.is_available():
        labels = Variable(torch.from_numpy(y_train).cuda())

    # Clear gradients w.r.t. parameters
    optimizer.zero_grad() 

    # Forward to get output
    outputs = model(inputs)

    # Calculate Loss
    loss = criterion(outputs, labels)

    # Getting gradients w.r.t. parameters
    loss.backward()

    # Updating parameters
    optimizer.step()

我的问题是优化器如何获得由 loss.backward() 计算的损失梯度，以使用 step() 方法更新参数？模型、损失准则和优化器如何联系在一起？

Answer 1

PyTorch 有张量和变量的概念。当您使用 nn.Linear 时，该函数会创建 2 个变量，即 W 和 b。在 pytorch 中，变量是封装张量、其梯度和有关其创建函数的信息的包装器。您可以通过

直接访问渐变

w.grad

当您在调用 loss.backward() 之前尝试它时，您将得到 None。一旦你调用 loss.backward() 它将包含现在的渐变。现在您可以通过以下简单步骤手动更新这些渐变。

w.data -= learning_rate * w.grad.data

当你有一个复杂的网络时，上面的简单步骤可能会变得复杂。所以像 SGD 这样的优化器，Adam 会处理这个问题。当您为这些优化器创建对象时，我们会传入模型的参数。 nn.Module 包含此 parameters() 函数，它将所有可学习的参数返回给优化器。这可以使用以下步骤完成。

optimizer = torch.optim.SGD(model.parameters(), lr=0.01)