statistics - 为什么交互属性可以提高线性回归的性能

Question

我正在使用线性回归模型研究 Weka。我意识到通过将数据集中的两个相关属性相乘并将其添加为额外属性，我提高了线性回归的性能。
但是，我不明白为什么!为什么我将两个相关属性相乘会有更好的结果。

Answer 1

这表明您逼近的函数在原始输入中不是线性的，但在它们的乘积中是线性的。实际上，您已经重新发明了多元 polynomial regression .

例如，假设您逼近的函数的形式为 y = a × x² + b × x + c。仅在 x 上拟合的线性回归模型不会给出好的结果，但是当您同时输入 x² 和 x 时，它可以学习正确的 a 和 b。

在多元设置中也是如此:一个函数可能在 x1 和 x2 中分别不是线性的，但它可能在 x1 × x2 中，你称之为“交互属性”。 (我知道这些是跨产品特征或特征连接；它们是 SVM 中的多项式核计算的，这就是为什么 SVM 比线性模型更强大的学习器。)