machine-learning - 使用交叉验证来计算特异性

Question

这个问题已经有答案了:

How to define specificity as a callable scorer for model evaluation (2 个回答)

已关闭 2 年前。

我想使用交叉验证来计算特异性。我找到了计算准确度、f1 分数和精度的代码。但我找不到具体的。例如，f1-score 的代码如下:

cross_val_score(SVC, X, y, scoring="f1", cv = 7)

或者对于精度来说就像:

cross_val_score(SVC, X, y, scoring="precision", cv = 7)

Answer 1

特异性基本上是真实阴性率，与真实阳性率(召回率)相同，但针对的是阴性类别

如果你有一个二进制类，你应该执行以下操作

• 从 metrics 导入指标 recall_score(详细信息 here )和 make_scorer 函数

  from sklearn.metrics import recall_score
  from sklearn.metrics import make_scorer
  

• 然后生成新的评分器，定义要计算召回率的类别(默认情况下，召回率是在标签=1 上计算的)

  specificity = make_scorer(recall_score, pos_label=0)
  

标签 0 通常是二元问题中的负类。

print(cross_val_score(classifier, X_train, y_train, cv=10, specificity))

如果你想要召回率(真阳性率)，你可以做同样的改变类别

sensitivity = make_scorer(recall_score, pos_label=1)
print(cross_val_score(classifier, X_train, y_train, cv=10, sensitivity))

无论如何，如果您需要更复杂的东西，您可以制作自定义记分器

make_scorer