machine-learning - 为什么向线性回归添加特征会降低准确性？

Question

我是 ML 新手，正在参加 Kaggle 竞赛来学习一些知识。当我向数据集中添加某些特征时，准确性会降低。

为什么增加成本的功能不直接加权为零(忽略)？是因为非线性特征会导致局部最小解吗？

谢谢。

Answer 1

如果您正在谈论线性回归分类器的训练误差，那么添加特征总是会减少您的误差，除非您有错误。就像你说的，这是一个凸问题，全局解决方案永远不会更糟糕，因为你可以将权重设置为零。

如果您谈论的是测试错误，那么过度拟合将成为添加功能的大问题，并且您肯定会观察到。