machine-learning - 为什么朴素贝叶斯具有生成性？

Question

我正在编写一份文档，其中应包含使用朴素贝叶斯(生成)和逻辑回归(判别)模型进行文本分类之间的主要区别。

在我的研究过程中，我遇到了朴素贝叶斯模型的定义:https://nlp.stanford.edu/IR-book/html/htmledition/naive-bayes-text-classification-1.html

The probability of a document d being in class c is computed as ... where p(tk|c) is the conditional probability of term tk occurring in a document of class c...

当我开始比较生成模型和判别模型时，我在 StackOverflow 上发现了这个被接受的解释: What is the difference between a Generative and Discriminative Algorithm?

A generative model learns the joint probability distribution p(x,y) and a discriminative model learns the conditional probability distribution p(y|x) - which you should read as "the probability of y given x".

此时我感到困惑:朴素贝叶斯是一个生成模型并使用条件概率，但同时判别模型被描述为好像它们学习了条件概率，而不是生成模型的联合概率。

有人可以解释一下吗？

谢谢!

Answer 1

它是生成性的，因为您不直接对后验p(y|x)建模，而是学习联合概率p(x,y)的模型 也可以表示为 p(x|y) * p(y) (先验概率倍)，然后通过 Bayes rule您寻求找到最有可能的y。

在这种情况下，我可以推荐的一本好读物是:“论判别与生成分类器:逻辑回归和朴素贝叶斯的比较” (Ng & Jordan 2004)