machine-learning - softmax 和 log-softmax 有什么区别？

Question

这两个函数之间的区别已在这篇 pytorch 帖子中描述:What is the difference between log_softmax and softmax? 是:exp(x_i) / exp(x).sum()log softmax 为:log(exp(x_i) / exp(x).sum()) .

但是对于下面的 Pytorch 代码，为什么我会得到不同的输出:

>>> it = autograd.Variable(torch.FloatTensor([0.6229,0.3771]))
>>> op = autograd.Variable(torch.LongTensor([0]))
>>> m  = nn.Softmax()
>>> log = nn.LogSoftmax()
>>> m(it)
Variable containing:
`0.5611  0.4389`
[torch.FloatTensor of size 1x2]
>>>log(it)
Variable containing:
-0.5778 -0.8236
[torch.FloatTensor of size 1x2]

但是，值 log(0.5611) 为 -0.25095973129，log(0.4389) 为 -0.35763441915

为什么会有这样的差异？

Answer 1

默认情况下，torch.log提供输入的自然对数，因此PyTorch的输出是正确的:

ln([0.5611,0.4389])=[-0.5778,-0.8236]

您的最后结果是使用以 10 为底的对数获得的。