algorithm - 朴素贝叶斯分类器，解释模型拟合和预测算法

Question

我有下面两个方程式，它们与朴素贝叶斯分类器的模型拟合和预测算法有关。

• 我想了解算法 3.2 的第 6 行在做什么。我认为它试图通过 log-sum-exp 技巧使数字“更好”，我仍然不完全理解。有人可以概述为什么/需要这样做吗？以及具体是什么论点

  logsumexp(Li,:)

  意思/是/读作？

• 还有人可以告诉我算法 3.1 第 8 行中的两个值的用途吗？它们基本上是算法 3.2 中 Lic 的初始偏移量/偏差吗？

来自机器学习一个概率论的前瞻作者 Kevin P. Murphy

Answer 1

请看下面。如果您想了解有关数学的更多详细信息，最好在 cross-validated 上发帖.

Could someone outline why the log-sum-exp trick is/needs to be done?

这是为了数值稳定性。如果您搜索“logsumexp”，您将看到几个有用的解释。例如，https://hips.seas.harvard.edu/blog/2013/01/09/computing-log-sum-exp , 和 log-sum-exp trick why not recursive .从本质上讲，该过程避免了数字太大/太小可能发生的数字错误。

specifically what the argument L_i,: reads as

i表示取第 i^th 行，:表示从该行中获取所有 值。所以，总的来说，L_i,: 表示 L 的第 i^th 行。冒号 :用于 Matlab (及其开源派生 Octave)在下标向量或矩阵时表示“所有索引”。

could someone give me a good notion of what the two values in line 8 of algorithm 3.1 is for?

这是C类在训练样例中出现的频率。

加一顶帽子表示这个频率将被用作估计 C 类出现在整个人群中的概率。就朴素贝叶斯而言，我们可以将这些概率视为先验。

同样...

当您将注意力集中在 C 类时，第 j 个特征出现的概率估计值。这些是条件概率:P(j|c) = 在给定类中看到特征 j 的概率c -- 朴素贝叶斯中的 Naive 意味着我们假设它们是独立的。

---

注意:为清楚起见/方便说明，对您问题中的引述进行了一些修改。

---

编辑回复您的评论

• L_i,: 是一个向量
• N是训练样例的个数
• D是数据的维度，即特征的数量(每个特征是矩阵 x 中的一列，其行是训练示例)。
• 什么是 L_i,:？每个 L_i,c 看起来像以下的对数:类 c 的先验乘以所有 P(i|c) 的乘积，即看到特征的条件概率的乘积，例如给定类 i C。请注意，向量 L_i,: 中只有 两个 条目，每个类别一个(它是二元分类，所以只有两个类别)。

使用贝叶斯定理，L_i,: 的条目可以解释为训练示例 i 在给定特征的情况下属于 c 类的相对条件概率 的对数的 i(实际上它们不是相对概率，因为它们每个都需要除以相同的常数，但我们可以安全地忽略它)。

我不确定算法 3.2 的第 6 行。如果您需要做的只是弄清楚您的训练示例属于哪个类，那么对我来说，省略第 6 行和第 7 行使用 argmax 似乎就足够了。 _c L_ic。也许作者包括第 6 行是因为 p_ic 有特定的解释？