python - R lm 与 Python sklearn linear_model

Question

当我学习 Python SKlearn 时，我遇到的第一个例子是 Generalized Linear Models .

第一个例子的代码:

from sklearn import linear_model
reg = linear_model.LinearRegression()
reg.fit([[0, 0], [1, 1], [2,2]], [0, 1,2])
reg.fit
reg.coef_
array([ 0.5,  0.5])

这里我假设 [[0, 0], [1, 1], [2,2]] 表示包含 x1 = c(0,1,2 ) 和 x2 = c(0,1,2) 以及 y = c(0,1,2)。

我立即开始认为 array([ 0.5, 0.5]) 是 x1 和 x2 的系数。

但是，这些估计是否存在标准误差？ t 检验 p 值、R2 和其他数字呢？

然后我尝试在 R 中做同样的事情。

X = data.frame(x1 = c(0,1,2),x2 = c(0,1,2),y = c(0,1,2))
lm(data=X, y~x1+x2)
Call:
lm(formula = y ~ x1 + x2, data = X)

#Coefficients:
#(Intercept)           x1           x2  
#  1.282e-16    1.000e+00           NA  

显然 x1 和 x2 完全线性相关，因此 OLS 会失败。为什么 SKlearn 仍然有效并给出这个结果？我是否以错误的方式获得sklearn？谢谢。

Answer 1

两种解决方案都是正确的(假设 NA 的行为类似于零)。哪种解决方案更受青睐取决于 OLS 估计器使用的数值求解器。

sklearn.linear_model.LinearRegression 基于 scipy.linalg.lstsq，后者又调用 LAPACK gelsd 例程，如下所述:

http://www.netlib.org/lapack/lug/node27.html

它特别指出，当问题等级不足时，它会寻求最小范数最小二乘法解。

如果您想支持其他解决方案，您可以使用坐标下降求解器，在 Lasso 类中实现了一点点 L1 惩罚:

>>> from sklearn.linear_model import Lasso
>>> reg = Lasso(alpha=1e-8)
>>> reg.fit([[0, 0], [1, 1], [2, 2]], [0, 1, 2])

Lasso(alpha=1e-08, copy_X=True, fit_intercept=True, max_iter=1000,
   normalize=False, positive=False, precompute=False, random_state=None,
   selection='cyclic', tol=0.0001, warm_start=False)
>>> reg.coef_
array([  9.99999985e-01,   3.97204719e-17])