python-3.x - 元素明智计算破坏了 autograd

Question

我正在使用 pytorch 来计算逻辑回归的损失(我知道 pytorch 可以自动执行此操作，但我必须自己制作)。我的函数定义如下，但转换为 torch.tensor 会破坏 autograd 并给出 w.grad = None 。我是 pytorch 的新手，所以很抱歉。

logistic_loss = lambda X,y,w: torch.tensor([torch.log(1 + torch.exp(-y[i] * torch.matmul(w, X[i,:]))) for i in range(X.shape[0])], requires_grad=True)

Answer 1

你的帖子细节不太清楚，这是一句废话。我首先将其重新设计为 minimal, complete, verifiable例子。如果我误解了您的意图，请纠正我，并请下次自己做。

import torch

# unroll the one-liner to have an easier time understanding what's going on
def logistic_loss(X, y, w):
    elementwise = []
    for i in range(X.shape[0]):
        mm = torch.matmul(w, X[i, :])
        exp = torch.exp(-y[i] * mm)
        elementwise.append(torch.log(1 + exp))

    return torch.tensor(elementwise, requires_grad=True)

# I assume that's the excepted dimensions of your input
X = torch.randn(5, 30, requires_grad=True)
y = torch.randn(5)
w = torch.randn(30)

# I assume you backpropagate from a reduced version
# of your sum, because you can't call .backward on multi-dimensional
# tensors
loss = logistic_loss(X, y, w).mean()
loss.mean().backward()
print(X.grad)

解决您的问题的最简单的解决方案是将 torch.tensor(elementwise,requires_grad=True) 替换为 torch.stack(elementwise) 。您可以将 torch.tensor 视为全新张量的构造函数，如果您的张量更多是某些数学表达式的结果，则应该使用像 torch.stack 这样的操作或torch.cat。

话虽如此，这段代码仍然非常低效，因为您需要手动循环 i。相反，你可以简单地写

def logistic_loss_vectorized(X, y, w):
    mm = torch.matmul(X, w)
    exp = torch.exp(-y * mm)

    return torch.log(1 + exp)

这在数学上是等价的，但在实践中会快得多，因为由于缺乏显式循环，它允许更好的并行化。

请注意，此代码仍然存在一个数值问题 - 您正在取指数的对数，但称为 exp 的中间结果可能会获得非常高的值，从而导致损失的精度。有一些解决方法，这就是为什么 PyTorch 提供的损失函数更可取。