python - 了解在 PyTorch 中使用 backward() 进行梯度计算

Question

我正在尝试了解基本的 pytorch autograd 系统:

x = torch.tensor(10., requires_grad=True)
print('tensor:',x)
x.backward()
print('gradient:',x.grad)

输出:

tensor: tensor(10., requires_grad=True)
gradient: tensor(1.)

因为 x 是一个标量常数并且没有函数应用于它，所以我期望 0. 作为梯度输出。为什么梯度 1. 而不是？

Answer 1

每当您使用 value.backward() 时，您都会计算导数 value(在您的情况下 value == x)到你所有的参数(在你的例子中就是 x)。粗略地说，这意味着所有以某种方式参与您的计算的张量都具有 requires_grad=True。所以这意味着

x.grad = dx / dx = 1

补充一点:通过自动微分，您始终使用“常数”值进行计算:您的所有函数或网络始终在具体点进行评估。你得到的梯度是在同一点评估的梯度。没有符号计算发生。计算梯度所需的所有信息都编码在计算图中。