machine-learning - 监督学习分类

Question

我知道 k-NN 是一种分类方案，对于要分类的每个点，采用 k 个最近邻，然后使用一定距离，并使用多数投票来对该点进行分类。

是否有类似的回归算法，其中只有一个类，即 A 类。您有一个包含 A 类特征空间中一些(不是全部)点的数据集。计算特征空间中新点的概率属于A类，你看看A类那个点距离k以内的密度？

Answer 1

我想你要的是probability density estimation 。您想要使用对 A 类中的点的观察来凭经验构建概率密度函数，然后使用该 PDF 来预测新点属于 A 类的概率。

实现此目的的方法有很多，最简单的可能是将数据建模为高斯分布或 mixture of Gaussians 。对于单个高斯模型，您只需计算数据集的均值和方差即可参数化高斯模型。这假设高斯模型非常适合您的数据集，如果不适合，则有 more sophisticated methods例如制作直方图或使用不同的分布。

但是，如果您只想对某个点是否属于某个类进行分类，那么估计密度可能就有点矫枉过正了。您可以使用众多分类算法中的任何一种(随机森林、SVM、逻辑回归、神经网络等)，这些算法不会告诉您有关数据的基本分布的任何信息，但只会为您提供一个分类器。