machine-learning - 相关变量的套索或岭

Question

我试图理解一句话“在存在相关变量的情况下，岭回归可能是首选。”假设我们有变量 a1,a2,b1,c2，并且 2 个 a"是相关的。如果我们使用Lasso，它可以消除其中一个a"。Lasso和Ridge都会进行收缩。所以听起来 Lasso 在这些条件下可能会更好。但引用说里奇更好。这是错误的引用还是我遗漏了一些东西？(也许想得太简单)

Answer 1

这个问题的答案很大程度上取决于您正在处理的数据集类型。

简短回答您的问题:

进行一些正则化总是好的，因此只要有可能，就避免“简单”线性回归。Ridge 可以被认为是一个很好的默认正则化，但是，如果您认为在您的功能集中只有少数功能实际上有用，您应该考虑LASSO正则化 或者，Elastic Net(如下所述)。这两种方法倾向于将“无用”特征权重减少到零。

在像您这样的情况下，如果您可能有很多相关特征，您可能倾向于运行其中一种“归零”正则化方法。 Elastic Net 和 LASSO 都可以使用，但是，Elastic Net 通常比 LASSO 更受青睐，因为 当您的特征集大于训练集中的实例数量或者当多个特征非常强相关时，LASSO可能会表现得不稳定(如在你的情况下)。

弹性网络正则化可以理解为一种混合了 L2 和 L1 范数惩罚的混合方法。具体来说，弹性网络回归最小化成本函数:

混合比例r超参数介于0和1之间，控制使用多少L2或L1惩罚(0是山脊，1是套索)。

最后，Python Scikit-Learn 库使 ElasticNet 可以轻松实现。例如:

from sklearn.linear_model import ElasticNet
elastic_net= ElasticNet(alpha= 0.1, l1_ratio= 0.5) # l1_ratio is the mix r
elastic_net.fit(X,y)

<小时/>

如果您正在寻找与Ridge正则化相比的LASSO正则化如何工作的更数学解释，我建议您查看Aurelien Geron的 书:Hands on Machine Learning 或斯坦福大学关于正则化的资源(与 MATLAB 包明显相似):https://web.stanford.edu/~hastie/glmnet/glmnet_alpha.html

这是一个 python 生成的图，比较两个惩罚函数和成本函数:

在 LASSO 上，我们可以观察到批量梯度下降路径在接近末端时有一点反弹。这主要是由于斜率在 O_2 = 0 时突然变化。学习率应逐渐降低，以便收敛到全局最小值(根据 Hands-on-ML 指南生成的图

希望有帮助!