azure - Azure ML Studio 中的评估模型节点不会获取混淆矩阵中数据集的所有行

Question

我有this dataset其中正类由 APS 系统特定组件的组件故障组成。我正在使用 Microsoft Azure 机器学习工作室进行预测维护。从下图中可以看出，我使用了 4 种算法:Logistic 回归、随机森林、决策树和 SVM。您可以看到评分模型节点中的输出数据集由 16k 行组成。然而，当我看到评估模型的输出时，在混淆矩阵中只有 160 个 Logistic 回归观测值，而正确的数字是随机森林 16k。我有同样的问题，决策树和SVM模型中只有160个观察值。同样的问题在其他实验中重复出现，例如在特征选择、归一化等之后:某些评估模型不使用测试数据集的所有行，而其他一些节点则这样做。我该如何解决这个问题？因为我对假阳性和假阴性的真实数量感兴趣。

Answer 1

显示的输出指标基于验证集(例如“验证指标”、“val-accuracy”)。计算和显示的所有指标均在验证集上，而不是在原始训练集上。所有这些指标仅在验证集上计算，而不考虑训练集，否则我们会通过考虑已用于训练模型的数据来夸大模型的性能。