python - Sklearn 在线预测，批量 vs 一一

Question

正如很多地方所说，对于大小为 10000 的输入数据，批量预测整个数据比逐行预测要快得多(在这两种情况下，model.n_jobs=1)。

我知道一对一的解决方案有很多开销。但是在在线服务中，请求是一个接一个地来的，很难先聚合它们然后批量预测。

另一种解决方案是仅将 scikit-learn 用于训练/验证，并开发一个项目来加载模型文件并优化一对一预测。

问题是预测项目需要知道每种模型的细节(我们可能会使用随机森林、LR 等)。

所以我的问题是有什么解决方案可以减少 sklearn 的一对一预测开销？

scikit-learn 版本:0.20.0(你可以提出任何其他版本可以解决这个问题)

Answer 1

是的，sklearn 针对向量操作进行了优化。我不知道专门针对在线设置优化的代码。为单个请求分析 sklearn 的性能会很好。为了提高速度，已经在 Cython 中重写了一些方法，例如随机森林。但是，由于 Python 可能很慢，因此您可能需要用 C 为开销较大的部分重写代码。对于像 GBDT 这样的方法，请考虑使用优化包(例如 xgboost)。另外，请查看这些讨论加速随机森林的幻灯片:https://www.slideshare.net/glouppe/accelerating-random-forests-in-scikitlearn