machine-learning - 贝叶斯岭回归和自动相关性确定回归的区别？

Question

有谁知道贝叶斯岭回归和ARDR有什么区别？更准确地说，在 sklearn 的这两个函数之间:

linear_model.BayesianRidge()  
linear_model.ARDRegression()

当我查看背后的理论时，两者都使用 lambda 和权重，并且定义了 ARDRegression:使用贝叶斯岭回归拟合回归模型。

但是我仍然不明白有什么区别，因为两个模型都使用权重和 lambda 来确定回归模型。有人可以更直观地解释这一点吗？

Answer 1

在 this page 上有一些更详细的信息.具体来说:ARDR 提出了一个不同的先验——假设一个椭圆高斯先验分布，其中每个权重都有自己的标准偏差，而不是像 BRR 那样的球形高斯先验分布。
根据this paper ，“通过对所有特征进行相同的正则化，当只有少数特征相关时，BRR 不太适合”。另一方面，“ARD 执行的正则化非常具有适应性，因为所有权重的正则化方式不同”。然而，它确实指出了 ARDR 的一些缺点，包括它“当模型包含太多回归量时容易欠拟合……并且还存在收敛问题”