python - pytorch如何在克隆张量后计算梯度

Question

我的简单代码:

import torch

x = torch.randn(4, requires_grad=True).cuda()
y = torch.randn(4, requires_grad=True).cuda()
z = torch.zeros(4)
z = torch.clone(x)
z.retain_grad()
h = (z + y) * z
l = torch.randn(4).cuda()
loss = (l - h).pow(2).sum()
loss.backward()
print('x.grad=', x.grad)
print('z.grad=', z.grad)

输出:

x.grad= None
z.grad= tensor([-15.3401,  -3.2623,  -2.1670,   0.1410], device='cuda:0')

为什么 x.grad 是 None 但与 z.grad 不同？如果我希望它们相同该怎么办？

Answer 1

如果你想保留张量x的梯度，你需要在声明x后调用x.retain_grad()。