python - KNN 归一化的精度差异

Question

我在 KNN 分类算法上训练了我的模型，准确率达到了 97% 左右。然而，后来我注意到我错过了对数据进行规范化，我对数据进行了规范化并重新训练了我的模型，现在我的准确率只有 87%。可能是什么原因？我应该坚持使用未规范化的数据还是应该切换到规范化版本。

Answer 1

要回答您的问题，您首先需要了解 KNN 的工作原理。这是一个简单的图表:

假设？是您试图分类为红色或蓝色的点。对于这种情况，我们假设您还没有规范化任何数据。正如你可以清楚地看到？比蓝色机器人更接近更多的红点。因此，该点将被假定为红色。我们还假设正确的标签是红色的，因此这是一个正确的匹配!

现在，讨论归一化。规范化是一种获取略有不同但赋予其共同状态的数据的方法(在您的情况下，将其视为使特征更相似)。假设在上面的示例中，您对 ? 的特征进行了归一化，因此输出的 y 值变小了。这会将问号置于其当前位置下方并被更多蓝点包围。因此，您的算法会将其标记为蓝色，这是不正确的。哎哟!

现在回答你的问题。对不起，没有答案!有时规范化数据会消除重要的特征差异，从而导致准确性下降。其他时候，它有助于消除特征中导致错误分类的噪音。此外，仅仅因为您当前使用的数据集的准确性有所提高，并不意味着您将使用不同的数据集获得相同的结果。

长话短说，与其尝试将归一化标记为好/坏，不如考虑您用于分类的特征输入，确定哪些特征对您的模型很重要，并确保这些特征的差异准确反射(reflect)在您的模型中分类模型。祝你好运!