python - n_jobs=-1 的 sklearn Logistic 回归实际上并不并行化

Question

我正在尝试使用 sklearn 的逻辑回归训练一个巨大的数据集。我已经设置了参数n_jobs=-1(也尝试过n_jobs = 5, 10, ...)，但是当我打开htop时，我可以看到它仍然只使用一个核心。

这是否意味着逻辑回归只是忽略了 n_jobs 参数？

我该如何解决这个问题？我真的需要这个过程变得并行化......

附注我使用的是sklearn 0.17.1

Answer 1

并行处理后端还取决于求解器方法。如果您想利用多核，则需要多处理后端。

但是像“sag”这样的解算器只能使用线程后端。

而且大多数情况下，它可能会由于大量的预处理而被阻止。