machine-learning - 为什么我会得到一些负值(预测变量)作为回归估计器(Lasso、Ridge、Elastic Net)的输出

Question

对于我的回归问题，我使用 scikit-learn 的 GridSearchCV 来获取最佳 alpha 值，并在我的估计器(Lasso、Ridge、ElasticNet)中使用该 alpha 值。我在训练数据集中的目标值不包含任何负值。但有些预测值为负(大约 5-10%)。我正在使用以下代码。我的训练数据包含一些空值，我将通过该功能替换它们。

return Lasso(alpha=best_parameters['alpha']).fit(X,y).predict(X_test)

知道为什么我会得到一些负值吗？X,y 和 X_test 的形状为 (20L, 400L) (20L,) (10L, 400L)

Answer 1

Lasso 只是正则化线性回归，因此实际上对于每个经过训练的模型，都有一些预测变量为负的值。

考虑线性函数

f(x) = w'x + b

其中 w 和 x 是向量，' 是转置运算符

无论 w 的值为多少和b ，只要w不是零向量 - 始终有 x 的值其中f(x)<0 。用于计算 w 和 b 的训练集不包含任何负值并不重要，因为线性模型总是(可能在一些非常大的值中)跨越 0 值。