pytorch - torch.Tensor.add_ 发生了什么？

Question

我正在查看 PyTorch 的 SGD 实现:https://pytorch.org/docs/stable/_modules/torch/optim/sgd.html#SGD

我看到一些我不明白的奇怪计算。

例如，看看 p.data.add_(-group['lr'], d_p) .认为两个参数相乘是有道理的，对吗？ (这就是 SGD 的工作原理，-lr * grads)

但是documentation该函数的内容对此没有任何说明。

更令人困惑的是，尽管这个 SGD 代码确实有效(我通过复制代码并调用 add_ 下方的打印进行了测试)，但我不能简单地使用 add_有两个参数:

#this returns an error about using too many arguments 
import torch

a = torch.tensor([1,2,3])
b = torch.tensor([6,10,15])
c = torch.tensor([100,100,100])
a.add_(b, c)
print(a)

这里发生了什么？我错过了什么？

Answer 1

这适用于标量:

a = t.tensor(1)
b = t.tensor(2)
c = t.tensor(3)
a.add_(b, c)
print(a)

tensor(7)

或 a可以是张量:

a = t.tensor([[1,1],[1,1]])
b = t.tensor(2)
c = t.tensor(3)
a.add_(b, c)
print(a)

tensor([[7, 7], [7, 7]])

输出为 7，因为: (Tensor other, Number alpha)