azure - 了解分类结果

Question

我运行了一个简单的二类神经网络，最终得到了这个结果(评估):

我想我会对真阳性和假阴性结果感到满意。但是误报是什么意思呢？ 误报 意味着它没有正确分类 2002 个元素并错过了它们？

准确度是 66%，这真的很糟糕，对吧？它和AUC有什么区别？

精度 受到影响，因为准确度也很差(我希望达到 80% 以上)？

如何翻转正标签和负标签？我真的很想预测目标是找到 CANDIDATE

的分类

Answer 1

基本上，对于假/真阳性和假/真阴性:您已检测到数据集中几乎所有 CANDIDATE 样本，其中 3420 个被正确预测为 TRUE，其中 31 个被预测为 FALSE。该信息以召回率捕获:3420/(3420+31) = 99.1%。它非常高，所以非常好。

但是，您预测了太多候选人。事实上，在模型预测的所有 TRUE 值中，3420 个实际上为 TRUE，2002 个实际上为 FALSE。这使得精度比很差:3420/(3420+2002)=63.1%。这不太好。

F1 是 Precision 和 Recall 的组合，它将它们总结为一个值，某种加权平均值。公式为2*(P*R)/(P+R)。因此，如果 Precision 或 Recall 之一不好:F1score 将捕获它。

您可以看到数据集中共有 5999 个示例。其中，3451 个确实为 TRUE，2548 个确实为 FALSE。所以你有 57% 的数据是真实的。如果你制作一个非常愚蠢的分类器，无论特征是什么，都将所有内容分类为 TRUE，那么你将获得 57% 的准确率。鉴于此，66.1% 的准确率并不是很好。如果您查看该表的第二列，您只会在 5999 个样本中预测出 577 个 FALSE。您的分类器严重偏向于真实的预测。

对于 AUC，它代表曲线下面积。您可以阅读more detailed info about it here 。总结一下:当你预测一个值时，你并不会直接得到 True 或 False。您将得到一个介于 0(假)和 1(真)之间的实数。对预测值(例如 0.2)进行分类的方法是使用阈值。阈值默认设置为 0.5。因此，如果您预测 0.2，您的模型将预测将其分类为 False，因为 0.2<0.5。但是你可以使该阈值在 0 和 1 之间移动。如果分类器真的很好，如果它能够很好地区分 False 和 True 预测，那么 AUC 将接近 1。如果它真的很差，它将接近 0.5 。如果您需要更多信息，请参阅链接。