machine-learning - gamma和epsilon在K-L散度计算中的作用是什么？

Question

我想知道是否有人可以向我解释为什么 gamma 和 epsilon 可以用来计算两个文档之间的 K-L 散度？他们的角色是什么？我不太擅长数学，所以如果有人能用简单的术语向我解释，那将会非常有帮助。

感谢您的帮助!

Answer 1

我想您指的是论文 Using Kullback-Leibler Distance for Text Categorization 中定义的 gamma 和 epsilon 值.

epsilon 是术语不在文档中的概率。将其设置为一个较小的值而不是 0，以避免距离无限大。 gamma 是考虑 epsilon 的归一化系数，因此类别中某个术语的概率满足概率的属性(总和为 1)。