machine-learning - 为什么高维贝叶斯分类问题会出现数值下溢？

Question

我正在审阅大数据类(class)的幻灯片。他们说高维朴素贝叶斯容易出现数值下溢和未观察到的事件 - 因此您应该在计算朴素贝叶斯时取概率的对数。这些幻灯片在谈论什么？我认为数字下溢会因为变量类型(例如，将 big 转换为 int)而失去精度。但这似乎不是这些幻灯片中该术语的含义。数字下溢和未观察到的事件是什么意思？在朴素贝叶斯中，取概率对数如何避免这些事情？

Answer 1

您的计算机的精度有限。例如，在一台以无限精度计算事物的理想计算机上，这个小 Python 程序永远不会停止，它只会不断打印越来越接近 0 的数字。

x = 1.0
while x != 0:
  x = x * .5
  print x

但是由于计算机以固定数量的位数存储数字，因此它只能表示有限的数字，最终它将乘积舍入为 0 并退出循环。

当你有很多特征时，朴素贝叶斯的计算会像这样发生。你将很多很多小于 1 的概率相乘，最终由于机器精度问题会达到 0。