machine-learning - 如何从 sklearn 包中找出 cv 错误？

Question

我试图绘制一条学习曲线，以确定我的模型是否存在高偏差，为了实现这一点，我需要绘制训练集误差与交叉验证集误差的图。在Scikit Learn中有没有办法获取这些信息？

rscv_rfc = grid_search.RandomizedSearchCV(RandomForestClassifier(), param_grid, n_jobs=4, cv=10)

rscv_rfc 为我提供了最佳估计器等，以及模型的最佳参数。有没有办法从该对象接收平均 cv 误差？

Answer 1

RandomizedSearchCV 的文档字符串告诉我们，它公开了包含其评估的所有分数的 grid_scores_。然而，这些都是根据训练集分割中保留的数据评估的分数。

Here是实际评估分数的地方。虽然函数 _fit_and_score 实际上有一个选项 return_train_scores，如果您构建了自己的网格搜索对象，则可以设置该选项，但此处将其设置为 False因此训练分数仍然无法获取。

我想知道将此选项传播到 *SearchCV 对象中通常是否有用。