dask - HyperbandCV 和其他增量搜索算法是否适用于没有 partial_fit 和 fir 管道的模型？

Question

我一直在深入研究 github 页面并阅读文档，但我并不完全了解 HyperbandCV 是否有助于在我的案例中加速超参数优化。

我正在使用 SKLearn 的管道功能。我也在测试像 LinearRegression() 这样不支持 partial_fit 的模型；它必须同时使用所有数据来拟合所有参数。这种情况下HyperbandCV还能用吗？如果使用它，如果根据我的理解，Pipeline 和所述模型都没有实现部分拟合，那么它到底在优化什么。在 Hyperband 的 api 中，它读到它需要实现 partial_fit 才能使用它。然而，在另一份文档中它读到它可以作为 RandomizedSearchCV 的直接替代品，因为它只花费更少的时间训练低性能模型。

如果有人能为我澄清这一点，那就太好了。

Answer 1

基于最近的https://blog.dask.org/2019/09/30/dask-hyperparam-opt ，HyperbandSearchCV 确实需要模型实现 partial_fit，因为使用 HyperbandSearchCV 的目的是避免对整个数据进行训练，以便决定模型是否良好。这就是 HyperbandSearchCV 速度优势的来源。我对这篇博文的解释是，一旦一个模型被完全训练，HyperbandSearchCV 就不能再做任何事情了，没有提前停止的余地了。然而，这可能适用于 Dask 实现，但不一定适用于原始 paper 中描述的 Hyperband 算法。我应该重新阅读。