optimization - KNN 中需要优化哪些参数？

Question

我想优化 KNN。关于SVM、RF和XGboost的内容有很多；但对于 KNN 来说很少。

据我所知，邻居的数量是一个需要调整的参数。

但是还有哪些参数需要测试呢？有什么好的文章吗？

谢谢

Answer 1

KNN 是一种非常简单的方法，除了 K 之外几乎没有什么需要调整的。整个方法实际上是:

for a given test sample x:
   - find K most similar samples from training set, according to similarity measure s
   - return the majority vote of the class from the above set

因此，除了 K 之外，唯一用于定义 KNN 的是相似性度量 s，仅此而已。该算法实际上没有其他内容(因为它有 3 行伪代码)。另一方面，找到“最佳相似性度量”与学习分类器本身一样困难，因此没有真正的方法可以做到这一点，人们通常最终使用简单的东西(欧几里得距离)或使用他们的领域知识来适应手头的问题。