machine-learning - 如何计算线性回归中的正则化参数

Question

当我们有一个高次线性多项式用于拟合线性回归设置中的一组点时，为了防止过度拟合，我们使用正则化，并在成本函数中包含 lambda 参数。然后使用该 lambda 更新梯度下降算法中的 theta 参数。

我的问题是我们如何计算这个 lambda 正则化参数？

Answer 1

正则化参数 (lambda) 是模型的输入，因此您可能想知道如何选择 lambda 的值。正则化参数减少了过度拟合，从而减少了估计回归参数的方差；然而，这样做的代价是增加您的估计偏差。增加 lambda 可以减少过度拟合，但也会增加偏差。所以真正的问题是“您愿意在估计中容忍多少偏差？”

您可以采取的一种方法是对数据进行多次随机二次采样，并查看估计值的变化。然后对稍大的 lambda 值重复该过程，看看它如何影响估计的变异性。请记住，无论您决定适合子采样数据的 lambda 值是什么，您都可以使用较小的值来对整个数据集实现类似的正则化。