python - 我的ROC曲线的一个区域位于随机线下方，如何修改混淆矩阵？

Question

在下面的 roc 曲线中，当阈值较低时，roc_curve 低于随机线，为什么会发生这种情况？混淆矩阵看起来像这样，我的问题是应该增加或减少混淆矩阵中的以下哪些元素(TP、FP、TN、FN)才能获得随机线上的 roc_curve？

            Predicted
            Neg   Pos

Actual Neg  1656  860
Actual Pos  145  331

Answer 1

预备

predict_proba 在您的模型对象上调用，返回每行数据的 event=1 的预测概率。

中华民国

绘制 ROC 时，相应的方法会根据 event=1 的预测概率按降序对数据进行排序。 ROC 准确地告诉您通过模型预测可以实现哪些 TPR 和 FPR 组合。

ROC 的这个形状表示的是:

1. 由您的模型生成的 event=1 的预测概率与 event=1 的真实概率相匹配更好> 大约 85% 的数据采用随机分配(由“随机线”表示)。准确地说，这 85% 是事件=1预测概率最高的 85% 行。
   
2. 由您的模型生成的 event=1 的预测概率与 event=1 的真实概率匹配更差> 大约 15% 的数据采用随机分配(由“随机线”表示)。准确地说，这 15% 是事件=1预测概率最低的 15% 行。

我从您的图表中获取了 85% 和 15% 的值:这是我对 ROC 穿过对角线(“随机线”)的点的目测估计，应仅视为说明性的。

造成这种现象的一个可能原因是:这可能是与单热编码分类特征相关的过度拟合的结果，其类别对于数据集的各个子群体“表现”不同。您可能希望在拟合模型之前尝试排除一些变量，并寻求 ROC 形状的改进。

混淆矩阵

混淆矩阵源自您的模型生成的 event=1 的相同预测概率。单个混淆矩阵与指定单行预测=1 或预测=0 的特定预测概率阈值相关。单个混淆矩阵由 ROC 处的单个点表示，因此您实际上无法通过操作混淆矩阵元素来操作 ROC 形状。您应该以相反的方式推理:ROC 形状以某种方式告诉您您的模型可以实现什么混淆矩阵。

希望这有帮助:-)