machine-learning - 为什么保持较低的模型权重(添加正则化参数)可以使模型更好地拟合看不见的/测试数据？

Question

考虑具有成本函数的线性回归模型:

这里有 = 模型的权重

我们添加正则化参数以避免过度拟合数据。正则化项通过根据模型的权重对模型进行惩罚来阻止使用大的权重，转而使用较小的权重。问题是:

1. 为什么保持模型权重较低(添加正则化参数)会减少方差，即允许模型更好地拟合看不见的/测试数据？

2. 此外，减少方差如何增加偏差？

Answer 1

如果您查看《统计学习要素》的第 7 章(此处免费在线: https://web.stanford.edu/~hastie/Papers/ESLII.pdf)您将在第 223 页看到预期损失E[(w^Tx - y)^2] 可以分为 3 部分。不可约误差项、平方偏差项和方差项。正如第 7 章所述，增加有效参数 p 的数量会增加方差并减少偏差。本章还描述了增加正则化强度如何减少参数的有效数量，参数的有效数量被定义为帽子矩阵的迹。