python - 岭回归中的 alpha 是什么？

Question

关闭。这个问题需要details or clarity .它目前不接受答案。












想改善这个问题吗？通过 editing this post 添加详细信息并澄清问题.

去年关闭。




Improve this question




岭回归中的参数 alpha 是什么，它如何影响训练后的回归？

所以例子对我有帮助:)

Answer 1

Ridge 或 Lasso 回归基本上是收缩(正则化)技术，它使用不同的参数和值来收缩或惩罚系数。

当我们拟合模型时，我们要求它学习一组最适合训练分布的系数，并希望对测试数据点进行泛化。可以通过多种方式学习这些系数，并且有多种技术可以减少系数中的误差，例如 LMS(最小均方)、RSS(残差平方和)。

现在假设我们正在使用 LMS 或 RSS 训练模型，然后岭回归利用额外项将 LMS 或 RSS 的结果惩罚为零。

所以，简单地写，

要纠正的最终错误 = RSS + Ridge 项 [OR]
[ ] 1

其中 Beta1、Beta2 ... 是 X1、X2... 等的系数。

岭项包括 alpha 项，它只是惩罚或调整参数。整个脊项有时也称为收缩惩罚项。

如果我们很好地拟合了数据，RSS 值就会很低。但仅当 B1、B2...Bn 值较小时，第二项才接近于零。如果这些很小，那么相应的 X1、X2....Xn 值就会很小。因此，与值足够大的 Xj 的某些 Bj 相比，Xi 项对 Y(输出变量)的影响将不那么显着。

alpha 项作为控制参数，它决定了对于 Bi 系数应该赋予 Xi 多大的重要性。如果 Alpha 接近于零，则 Ridge 项本身非常小，因此最终误差仅基于 RSS。如果 Alpha 太大，收缩的影响会增大，系数 B1、B2 ... Bn 趋于零。

选择正确的值有助于模型学习正确的特征并更好地概括系数。有助于选择正确值的方法之一是交叉验证。