machine-learning - 机器学习中方法的 "flexibility"的定义是什么？

Question

关闭。这个问题需要多问 focused 。目前不接受答案。

---

想要改进此问题吗？更新问题，使其仅关注一个问题 editing this post .

已关闭 3 年前。

Improve this question

我想找到机器学习中方法“灵 active ”的定义，就像Lasso、SVM、最小二乘一样。这是灵 active 和可解释性之间的权衡的表示。

我还认为灵 active 是一个详细的数字问题。由于我的声誉，我无法上传图片。如果你想了解一些细节，你可以阅读统计学习简介，图片在第25页和第31页。

谢谢。

Answer 1

在绘制模型方程时，您可以将模型的“灵 active ”视为模型的“弯曲度”。线性回归被认为是不灵活的。另一方面，如果你有 9 个训练集，每个训练集都非常不同，并且你需要更严格的决策边界，则模型将被视为灵活，只是因为模型不能是直线。

当然，有一个基本假设，即这些模型能够充分表示训练数据(线性表示不适用于高度分散的数据，而锯齿状多项式表示不适用于直线)。

因此，灵活的模型将:

1. 在不同的训练集上都能很好地泛化
   • 以更高的方差为代价。这就是为什么灵活的模型通常与低偏差相关
2. 随着复杂性的增加和/或数据点数量的增加(达到一定程度，它不会表现得更好)，性能会更好