algorithm - 使用 Kullback 发散的字符发散

Question

我正在尝试计算字符串中字符的散度，但我真的不知道如何将 Kullback 散度算法应用于此类问题。请任何人解释我可以用来解决这样的问题的 KLD 算法。

谢谢

Answer 1

KL 散度是一种度量，它可以为您提供一个分布与另一个分布之间的某种伪距离，假设它们具有相似的域(因为它们将概率分配给相似的事物。伯努利分布给出了 0,1 次抛硬币的概率，正常给出实数等)。

KL(distribution A, distribution B) 是一种衡量当我期待从 B 中采样的东西时，我对从 A 中采样的东西感到惊讶的程度。

它不是真正的距离度量，因为它不是对称的，即如果对于 [1,2,3,4,5] 的域，分布 A 对所有数字给出相等的概率，但分布 B 对所有概率仅给出 2，那么 KL(B, A) 应该比 KL(A, B) 低得多，因为我会有点惊讶地看到我的均匀分布总是返回相同的数字，但我会惊讶地看到我的 only-2 分布从[1,3,4,5] 因为分布 B(概率 0)认为这些不可能。

我不是很清楚您是如何尝试使用 KL 散度来衡量字符串之间的差异的。请详细说明您的问题，以便我可以帮助您解决这个问题。

关于 KL 的维基百科文章 - http://en.wikipedia.org/wiki/Kullback%E2%80%93Leibler_divergence