python - Scikit-learn 中逻辑回归的第一次迭代的初始估计是多少？

Question

我正在 python 中从头开始尝试逻辑回归。(通过查找概率估计、成本函数、应用梯度下降来增加最大似然)。但是我对于第一次迭代过程应该采用哪些估计感到困惑。我将所有估计值都设为0(包括截距)。但是结果与我们在Scikit-learn中得到的结果不同。我想知道Scikit-learn中逻辑回归的初始估计值是多少？

Answer 1

首先，scikit learn 的 LogsiticRegerssion 使用正则化。因此，除非您也应用该方法，否则您不太可能得到完全相同的估计。如果你真的想测试你的方法与 scikit 的方法，最好使用他们的 Logistic regersion 的梯度体面实现，称为 SGDClassifier 。确保将 loss='log' 设置为逻辑回归，并设置 alpha=0 以删除正则化，但您再次需要调整迭代 和 eta 因为它们的实现可能与您的略有不同。

要具体回答有关初始估计的问题，我认为这并不重要，但最常见的是，您将所有内容设置为 0(包括截距)并且应该可以很好地收敛。

还要记住，GD(梯度下降)模型有时很难调整，您可能需要事先对数据应用一些缩放(例如 StandardScaler )，因为非常高的值很可能会使您的梯度超出其范围坡。 Scikit 的实现对此进行了调整。