machine-learning - 概率 kNN 和朴素贝叶斯之间的区别

Question

我正在尝试修改标准 kNN 算法来获取属于某个类别的概率，而不仅仅是通常的分类。我还没有找到太多关于概率 kNN 的信息，但据我了解，它的工作原理与 kNN 类似，不同之处在于它计算给定半径内每个类的示例的百分比。

所以我想知道，朴素贝叶斯和概率 kNN 之间有什么区别？我只是发现朴素贝叶斯考虑了先验可能性，而 PkNN 没有。难道是我理解错了？

提前致谢!

Answer 1

说实话，几乎没有相似之处。

朴素贝叶斯假设每个类都按照简单分布进行分布，并且与特征无关。对于连续的情况 - 它将适合您的整个类(class)(每个类(class))的径向正态分布，然后通过 argmax_y N(m_y, Sigma_y) 做出决定

另一方面，KNN 不是概率模型。您所指的修改只是原始想法的“平滑”版本，您返回最近邻集中每个类的比率(这实际上并不是任何“概率 kNN”，它只是粗略估计的常规 kNN的概率)。这对数据分布没有任何假设(除了局部平滑之外)。特别是 - 它是一个非参数模型，只要有足够的训练样本，它将完美地适合任何数据集。朴素贝叶斯仅适合 K 个高斯(其中 K 是类数)。