machine-learning - 为回归模型选择正确的指标

Question

我一直在使用 r2 score 指标。我知道有几个评估指标，我已经阅读了几篇关于它的文章。因为我还是机器学习的初学者。我仍然很困惑

1. 何时使用它们，取决于我们的情况，如果是，请举例说明
2. 我读了this article它说，r2 score 并不简单，我们需要其他东西来衡量我们模型的性能。这是否意味着我们需要 1 个以上的评估指标才能更好地了解我们的模型性能？
3. 如果我们仅通过一种评估指标来衡量我们的模型性能，是否值得推荐？
4. 来自这个article它说了解我们的数据分布和我们的业务目标有助于我们理解选择适当的指标。这是什么意思？
5. 如何知道模型是否足够“好”的每个指标？

Answer 1

回归问题有不同的评估指标，如下所示。

1. 均方误差(MSE)
2. 均方根误差 (RMSE)
3. 平均绝对误差 (MAE)
4. R² 或决定系数
5. 均方百分比误差 (MSPE)
6. 等等……

正如您所提到的，您需要根据您的问题类型、您想要衡量的内容以及您的数据分布来使用它们。

1. 为此，您需要了解这些指标如何评估模型。您可以从这个不错的 blog post 查看评估指标的定义和优缺点。 .
2. R² 显示自变量描述了目的变量的哪些变化。一个好的模型可以使 R² 得分接近 1.0，但这并不意味着它应该如此。 R² 较低的模型也可以提供较低的 MSE 分数。因此，为确保模型的预测能力，最好使用 MSE、RMSE 或 R² 之外的其他指标。
3. 没有。您可以使用多个评估指标。重要的是如果你比较两个模型，你需要使用相同的测试数据集和相同的评估指标。
4. 例如，如果你想过多地惩罚你的错误预测，你可以使用 MSE 评估指标，因为它基本上测量我们预测的平均平方误差，或者如果你的数据有太多离群值 MSE 给这个例子太多的惩罚。
5. 好的模型定义会根据您的问题复杂性而变化。例如，如果您训练一个预测正面或反面并给出 %49 准确度的模型，那么它就不够好，因为这个问题的基线是 %50。但对于任何其他问题，%49 的准确度可能足以解决您的问题。因此，总而言之，这取决于您的问题，您需要定义或考虑人类(基线)阈值。