statistics - K 最近邻分类的“概率”

Question

我在 2D 空间中有一小组数据点(大约 10 个)，每个数据点都有一个类别标签。我希望根据现有数据点标签对新数据点进行分类，并关联属于任何特定标签类别的“概率”。

基于最近邻的标签来标记新点是否合适(如K近邻，K=1)？为了获得概率，我希望排列所有标签并计算未知点和其余点的所有最小距离，并找到最小距离小于或等于用于标记它的距离的情况的分数。

谢谢

Answer 1

最近邻方法已经使用贝叶斯定理来估计使用包含您选择的 K 点的球中的点的概率。不需要进行变换，因为属于每个标签的 K 个点球中的点数除以该球中的总点数已经是该标签的后验概率的近似值。换句话说:

P(标签|z) = P(z|标签)P(标签)/P(z) = K(标签)/K

这是根据使用数据子集估计的估计概率使用贝叶斯概率规则获得的。特别是，使用:

VP(x) = K/N(这给出了体积为 V 的球中的一个点的概率)

P(x) = K/NV(从上面)

P(x=label) = K(label)/N(label)V (其中 K(label) 和 N(label) 是给定类别的球中的点数以及该类的总样本)

和

P(标签)= N(标签)/N。

因此，只需选择一个 K，计算距离，计算点数，通过检查它们的标签并重新计算，您就会得到概率。