python - 预测 scikit-learn 分类运行需要多长时间

Question

有没有办法根据参数和数据集预测从 sci-kit learn 运行分类器需要多长时间？我知道，漂亮的元数据，对吧？

有些分类器/参数组合非常快，有些需要很长时间，以至于我最终只是终止了该过程。我想要一种方法来提前估计需要多长时间。

或者，我会接受一些关于如何设置常用参数以减少运行时间的建议。

Answer 1

有非常具体的分类器或回归器类别可以直接报告算法的剩余时间或进度(迭代次数等)。其中大部分可以通过将 verbose=2(任何高数 > 1)选项传递给单个模型的构造函数来打开。 注意:此行为是根据 sklearn-0.14 进行的。早期版本有一些不同的详细输出(尽管仍然有用)。

最好的例子是 ensemble.RandomForestClassifier 或 ensemble.GradientBoostingClassifier`，它们会打印到目前为止所建树的数量和剩余时间。

clf = ensemble.GradientBoostingClassifier(verbose=3)
clf.fit(X, y)
Out:
   Iter       Train Loss   Remaining Time
     1           0.0769            0.10s
     ...

或者

clf = ensemble.RandomForestClassifier(verbose=3)
clf.fit(X, y)
Out:
  building tree 1 of 100
  ...

此进度信息对于估计总时间非常有用。

然后还有其他模型，比如 SVM，打印完成的优化迭代次数，但不直接报告剩余时间。

clf = svm.SVC(verbose=2)
clf.fit(X, y)
Out:
   *
    optimization finished, #iter = 1
    obj = -1.802585, rho = 0.000000
    nSV = 2, nBSV = 2
    ...

据我所知，线性模型等模型不提供此类诊断信息。

查看此线程以了解有关详细级别含义的更多信息:scikit-learn fit remaining time