machine-learning - 交叉熵损失对 F 分数的影响

Question

我正在训练 FCN(全卷积网络)并使用“Sigmoid Cross Entropy”作为损失函数。我的测量是 F 测量和 MAE。Train/Dev Loss w.r.t #iteration 图如下所示: 虽然在 #Iter=2200 之后 Dev 损失略有增加，但我对 Dev 集的测量已经提高到接近 #iter = 10000。我想知道在机器学习中是否可能？如果F-measure得到改善，损失是否也应该减少？怎么解释呢？

每个答案都将不胜感激。

Answer 1

简短的回答，是的这是可能的。

我如何解释它是通过对交叉熵损失的推理以及它与指标的不同之处。一般来说，分类的损失函数用于依赖概率(0.1/0.9)来优化模型，而度量通常使用预测的标签。 (0/1)

• 假设对模型概率假设有很强的置信度(接近 0 或接近 1)，错误的预测将大大增加损失并且损失很小F 测量值降低。
• 同样，在相反的情况下，低置信度(例如 0.49/0.51)的模型对损失函数的影响很小(从数值角度来看) 对指标产生更大影响。

绘制预测的分布图将有助于证实这一假设。