machine-learning - 二元分类 NN 给出了非常低的误报率和非常高的误报率。谁能解释

Question

我正在对比例为 (22:1) 的不平衡数据进行二元分类，这意味着如果有 22 个正例，则有 1 个负例。我使用 Over-Sampling 来处理这个不平衡问题。 ，它添加了少数类示例的副本以平衡正类和负类。

现在我训练了神经网络模型。对于评估，我对低误报率 (FPr) 和低误报率 (FNr) 感兴趣，但它给了我意想不到的结果，非常低的误报率 (0.02 %) 和非常高的误报率 (82.1 %)。
引用模型也有 90% 的准确率和 23% 的损失。

我们通过以下方式计算费率:

FPr = FP/(FP+TN) and 

FNr = FN/(Fn+TP)

这里 FP 表示 False Positive，TN 表示 True Negative，FN 表示 False Negative，TP 表示 True Positive。

所以请任何人都可以解释为什么会出现这些结果，这意味着什么，以及我如何训练给我低 FPr 和低 FNr 的模型。

谢谢

Answer 1

对于不平衡的问题，准确性并不是一个充分的性能衡量标准。在您的示例中(没有过采样)，始终预测正类的虚拟分类器将实现超过 95% 的准确度，大大优于您的分类器。

使用对类别不平衡不太敏感的指标，例如 Matthews Correlation Coefficient反而。

幼稚的过采样(即添加副本)可能会适得其反并扭曲您的 FN/FP 比率。许多模型甚至无法从这种过采样中获益，我建议使用您所拥有的并使用更好的指标来改进您的预测，这可能会纠正您的 FN/FP 问题。

根据您使用的模型，考虑对损失函数或样本进行加权，以反射(reflect)类别不平衡并鼓励平衡学习。