pytorch - log_prob 有什么作用？

Question

在一些(例如机器学习)库中，我们可以找到 log_prob 函数。它有什么作用以及与仅获取常规日志有何不同？

例如，这段代码的目的是什么:

dist = Normal(mean, std)
sample = dist.sample()
logprob = dist.log_prob(sample)

随后，为什么我们要先取对数，然后对结果值求幂，而不是直接对其求值:

prob = torch.exp(dist.log_prob(sample))

Answer 1

正如您自己的答案所提到的，log_prob 返回密度或概率的对数。在这里我将解决您问题中的其余几点:

• 这与日志有何不同？发行版没有方法log。如果他们这样做了，最接近的可能解释确实会类似于 log_prob 但它不会是一个非常精确的名称，因为 if 会引出问题“log of what”？分布具有多个数值属性(例如均值、方差等)，而概率或密度只是其中之一，因此名称会不明确。

同样的情况不适用于 Tensor.log() 方法(这可能是您的想法)，因为 Tensor 本身就是我们可以采用的数学量的日志。

• 为什么只取概率的对数然后再求幂？您稍后可能不需要对其求幂。例如，如果您有概率 p 和 q 的对数，那么您可以直接将 log(p * q) 计算为 log(p) + log(q)，避免中间求幂。这在数值上更加稳定(避免下溢)，因为概率可能会变得非常接近于零，而它们的对数却不会。一般来说，加法也比乘法更有效，并且其导数也更简单。有一篇关于这些主题的好文章:https://en.wikipedia.org/wiki/Log_probability .