python - 通过 sklearn.metrics.make_scorer 将估算器传递给自定义评分函数

Question

我想制作一个涉及分类概率的自定义评分函数，如下所示:

def custom_score(y_true, y_pred_proba):
    error = ...
    return error

my_scorer = make_scorer(custom_score, needs_proba=True)

gs = GridSearchCV(estimator=KNeighborsClassifier(),
                  param_grid=[{'n_neighbors': [6]}],
                  cv=5,
                  scoring=my_scorer)

有什么方法可以将 GridSearch 与给定数据和参数匹配的估算器传递给我的自定义评分函数吗？然后我可以使用 estimator.classes_

解释概率

例如:

def custom_score(y_true, y_pred_proba, clf):
    class_labels = clf.classes_
    error = ...
    return error

Answer 1

有另一种方法可以成为得分手 mentioned in the documentation .使用此方法我可以执行以下操作:

def my_scorer(clf, X, y_true):
    class_labels = clf.classes_
    y_pred_proba = clf.predict_proba(X)
    error = ...
    return error

gs = GridSearchCV(estimator=KNeighborsClassifier(),
                  param_grid=[{'n_neighbors': [6]}],
                  cv=5,
                  scoring=my_scorer)

这避免了使用 sklearn.metrics.make_scorer。