algorithm - 在信息检索环境中将概率的负对数限制为正值(语言建模)

Question

如果我们取概率的对数，返回的值为负值。值用于信息检索库的匹配器，它拒绝负值，因此我需要将负值限制为正值，这样匹配器就不会拒绝文档。

一种方法是在概率中添加一个随机数，比如 K

即返回 max(log( prob. + K) 其中 K 是一个大常数或返回 max(log(K.Prob),0) 其中 K 是一个大常数

有没有更好的方法可以将负对数值限制为正值？以下哪种方法更好？

如果我们选择上述任何一种方法，我对如何选择合适的 K 感到很头晕。如果有人可以建议如何选择合适的大 K，我将很高兴？

P.S 重要的是使用对数值，因为我们正在尝试实现需要乘以概率的模型，但由于体系结构不可行，无法支持我们对作为概率乘积的概率对数求和，因此使用对数值很重要(采用反对数不是一种可行的方法)

Answer 1

您始终可以使用 log(1 + p)。这将使您的范围从 (-inf, 0] -> [0, log(2)) 偏移。我认为这会解决您的问题。

一般最常用的方法是按照其他人的建议取对数的负数。您也可以使用 1/(1-log(p)) ，但这对您的情况没有帮助。

所以 log(1 + p) 似乎是最好的解决方案。