gpt4 book ai didi

algorithm - 为什么减少 K 近邻中的 K 会增加复杂性?

转载 作者:塔克拉玛干 更新时间:2023-11-03 02:33:42 24 4
gpt4 key购买 nike

在我的教科书的摘录中,它说在运行此算法时减小 K 的值实际上会增加复杂性,因为它必须运行更多的“平滑”。

谁能给我解释一下?

我的理解是,在 1NN 中,您为它提供训练集。您在测试集上进行测试。假设您的测试集中有一个点。它在训练集中找到最接近它的一个点并返回它的值。

这肯定比在 3NN 中找到 3 个最近的点,将它们的值相加并除以三复杂吗?

我误解或忽略了什么?

最佳答案

当我读到那个公理时,我也有过同样的怀疑; 更高 值的参数降低 复杂性起初似乎有点违反直觉。

为了对此有一个直觉,让我们比较一个 1-最近邻训练模型和一个 N>>1-最近邻模型。让我们使用一个简化的二维图(双特征数据集)和二元分类(每个“点”都有一个类或标签,A 或 B)。

对于 1-最近邻模型,训练集的每个示例可能是预测 A 或 B 类的区域的中心,其大多数邻居是预测 A 类或 B 类的区域的中心其他类。你的情节可能看起来像世界上那些深深交织在一起的地区(巴尔干或中东)的种族、语言或宗教 map :复杂形状和交替颜色的小块,没有明显的逻辑,因此“高度复杂”。

1-nearest neighbour

如果增加 k,则预测每个类别的区域将更加“平滑”,因为它是决定任何点类别的 k-最近邻的大多数。因此,这些区域的数量会更少,面积会更大,形状可能会更简单,就像世界上同一地区的国家边界政治 map 一样。因此“复杂性较低”。

k-nearest neighbours

(直觉和来源 from this course .)

关于algorithm - 为什么减少 K 近邻中的 K 会增加复杂性?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/23767820/

24 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com