machine-learning - PyTorch 中两个概率分布的 KL 散度

Question

我有两个概率分布。我应该如何在 PyTorch 中找到它们之间的 KL 散度？常规交叉熵仅接受整数标签。

Answer 1

是的，PyTorch 有一个名为 kl_div 的方法在 torch.nn.function 下直接计算张量之间的 KL 散度。假设您有相同形状的张量 a 和 b。您可以使用以下代码:

import torch.nn.functional as F
out = F.kl_div(a, b)

更多详细信息，请参阅上述方法文档。