python - 在交叉验证中，是否有必要在预定义分数对象的评分参数中使用 make_scorer ？

Question

我在交叉验证的分类问题中使用不同的超参数调整函数。特别是，我正在比较 GridSearchCV 的性能, RandomizedSearchCV和 BayesSearchCV .

所有这些函数都有参数“scoring”，您可以在其中指定一个带有 predefined scoring parameter 的字符串。 ，或可调用来评估测试集上的预测。我知道有时您需要使用 make_scorer 通过此可调用定义自己的评分函数。这很好，没问题。

我的问题是是否最好通过适合模型选择的 make_scorer 将给定的预定义分数(例如average_ precision_score、f1_score等)转换为记分器。

例如，这两段代码的作用相同吗？

1) 在“评分”参数中使用字符串:

    opt = BayesSearchCV(clf,
                    search_spaces,
                    scoring='average_precision',
                    cv=4,
                    n_iter=40,
                    n_jobs=-1)

2) 在“评分”参数中使用 make_scorer:

    # define scorer
    avg_prec = make_scorer(average_precision_score, greater_is_better=True, needs_proba=True)

    opt = BayesSearchCV(clf,
                    search_spaces,
                    scoring=avg_prec,
                    cv=4,
                    n_iter=40,
                    n_jobs=-1)

Answer 1

不需要自己做。 Scikit-learn 内部也做同样的事情。因此，当您在 'scoring' 参数中提供字符串值时，它会在内部与包含 make_scorer(scorer, ...) 的预定义评分方法的字典匹配> 作为值(value)观。请参阅source code here :

SCORERS = dict(explained_variance=explained_variance_scorer,
               ...
               ...
               average_precision=average_precision_scorer,
               ...
               ...