python - Python 中的成对 Kullback Leibler(或 Jensen-Shannon)发散距离矩阵

Question

我有两个矩阵 X 和 Y(在大多数情况下它们是相似的)现在我想计算所有行之间的成对 KL 散度并将它们输出到一个矩阵中。例如:

X = [[0.1, 0.9], [0.8, 0.2]]

然后该函数应采用 kl_divergence(X, X) 并计算两个 X 矩阵的每对行的成对 Kl 发散距离。输出将是一个 2x2 矩阵。

是否已经在 Python 中对此进行了一些实现？如果不是，这应该很容易计算。我想要某种矩阵实现，因为我有很多数据并且需要尽可能降低运行时间。或者，Jensen-Shannon 熵也可以。最终这对我来说甚至是更好的解决方案。

Answer 1

请注意 KL divergence本质上是 P(i) 和 log(P(i)/Q(i)) 的点积。因此，一种选择是形成一个列表 numpy P(i) 的数组和 log(P(i)/Q(i)) 的另一个数组，一行对应您要计算的每个 KL 散度)，然后执行点积。