python - 在 sklearn 中使用交叉验证和 AUC-ROC 建立逻辑回归模型

Question

我正在使用 sklearn 包构建逻辑回归模型，然后对其进行评估。具体来说，我想使用交叉验证来做到这一点，但无法找到使用 cross_val_score 函数的正确方法。

根据documentation还有一些examples我看到，我需要将模型、特征、结果和评分方法传递给函数。但是AUC不需要预测，它需要概率，所以它可以尝试不同的阈值，并以此为基础计算出ROC曲线。那么这里正确的方法是什么？此函数将 'roc_auc' 作为一种可能的评分方法，因此我假设它与其兼容，我只是不确定正确的使用方法。下面的示例代码片段。

from sklearn.linear_model import LogisticRegression
from sklearn.cross_validation import cross_val_score

features = ['a', 'b', 'c']
outcome = ['d']
X = df[features]
y = df[outcome]
crossval_scores = cross_val_score(LogisticRegression(), X, y, scoring='roc_auc', cv=10)

基本上，我不明白为什么我需要将 y 传递给我的 cross_val_score 函数，而不是使用 X 计算的概率逻辑回归模型。它只是自己完成那部分吗？

Answer 1

所有监督学习方法(包括逻辑回归)都需要真实的 y 值来拟合模型。

拟合模型后，我们通常希望:

• 做出预测，并且
• 对这些预测进行评分(通常基于“保留的”数据，例如使用交叉验证)

cross_val_score 为您提供模型预测的交叉验证分数。但是要对预测进行评分，它首先需要做出预测，而要做出预测，它首先需要拟合模型，这需要 X 和 (true) y。

cross_val_score 如您所述接受不同的评分指标。因此，例如，如果您选择 f1-score，则在 cross-val-score 期间生成的模型预测将是类预测(来自模型的 predict()方法)。如果您选择 roc_auc 作为指标，则用于对模型评分的模型预测将是概率预测(来自模型的 predict_proba() 方法)。