algorithm - kNN 是统计分类器吗？

Question

我目前正在为我的人工智能考试做一个机器学习项目。目标是使用 WEKA 正确选择两种分类算法进行比较，请记住，这两种算法必须有足够的不同才能进行比较。此外，算法必须同时处理标称数据和数字数据(我想这是进行比较所必需的)。例如，我的教授建议选择统计分类器和决策树分类器，或者深入研究自下而上分类器和自上而下分类器之间的比较。

由于我在Machine Learning领域的经验很少，所以我正在研究WEKA提供的各种算法，我踩到了kNN，即k-nearest neighbors algorithm。是统计的吗？例如，它可以与决策树桩算法进行比较吗？

否则，您能否推荐一些符合我上面指出的这些要求的算法？

P. S.:处理的数据必须是数字的和标称的。在 WEKA 上有数值/名义特征和数值/名义类。我必须选择同时具有数值/标称特征和类别的算法，还是只选择其中之一？

非常感谢任何帮助的人，感谢您的耐心等待!

Answer 1

根据你教授的描述，我不会考虑k-Nearest Neighbors (kNN)统计分类器。在大多数情况下，统计分类器是通过训练数据的统计数据(通过直接使用统计数据或通过转换它们)进行概括的分类器。这方面的一个例子是 Naïve Bayes Classifier .

相比之下，kNN 是 Instance-Based Learning 的一个例子.它不使用训练数据的统计数据；相反，它将新观察结果直接与训练实例进行比较以执行分类。

关于比较，是的，您可以将 kNN 的性能与决策树桩(或任何其他分类器)进行比较。由于任何两个监督分类器都会根据您的训练/测试数据产生分类精度，因此您可以比较它们的性能。