machine-learning - 对数损失输出大于1

Question

我准备了几个用于欺诈领域文档二元分类的模型。我计算了所有模型的对数损失。我认为它本质上是衡量预测的置信度，并且对数损失应该在 [0-1] 范围内。我相信，当结果(确定类别)不足以达到评估目的时，这是分类中的一项重要措施。因此，如果两个模型的准确率、召回率和精度非常接近，但其中一个模型的对数损失函数较低，则应选择该模型，因为决策过程中没有其他参数/​​指标(例如时间、成本)。

决策树的对数损失为 1.57，所有其他模型的对数损失都在 0-1 范围内。我该如何解读这个分数？

Answer 1

重要的是要记住对数损失没有上限。对数损失存在于 [0, ∞) 范围内

来自Kaggle我们可以找到对数损失的公式。

其中 y_ij 为 1 表示正确的类别，0 表示其他类别，p_ij 是分配给该类别的概率。

如果我们看一下平均对数损失超过 1 的情况，就是当 log(p_ij) < -1 当 i 是真正的类时。这意味着给定类别的预测概率将小于 exp(-1) 或 0.368 左右。因此，如果您的模型仅对实际类别给出小于 36% 的概率估计，则可以预期看到对数损失大于 1。

我们还可以通过绘制给定各种概率估计的对数损失来看到这一点。