TensorFlow:我的(广义)骰子损失实现有什么问题？

Question

我使用 TensorFlow 1.12 基于 Material 进行语义(图像)分割。使用多项式交叉熵损失函数，这会产生不错的结果，尤其是考虑到我使用的训练数据量稀疏，mIoU 为 0.44:

然而，当我用我的骰子损失实现替换它时，网络预测的分段要小得多，这与我对其理论的理解相反。我认为它应该更好地处理不平衡的数据集，并且应该更好地预测较小的类:

表格可以更好地形象化；如您所见，由于 dice loss，从未预测到更多更小的类(因此精度未定义)。使用交叉熵，至少可以对所有类做出一些预测:

我最初认为这是增加mIoU的网络方式(因为我的理解是dice loss直接优化dice loss)。然而，与交叉熵的 0.44 mIoU 相比，具有骰子损失的 mIoU 为 0.33，因此它在这方面失败了。我现在想知道我的实现是否正确:

def dice_loss(onehots_true, logits):
    probabilities = tf.nn.softmax(logits)
    #weights = 1.0 / ((tf.reduce_sum(onehots_true, axis=0)**2) + 1e-3)
    #weights = tf.clip_by_value(weights, 1e-17, 1.0 - 1e-7)
    numerator = tf.reduce_sum(onehots_true * probabilities, axis=0)
    #numerator = tf.reduce_sum(weights * numerator)
    denominator = tf.reduce_sum(onehots_true + probabilities, axis=0)
    #denominator = tf.reduce_sum(weights * denominator)
    loss = 1.0 - 2.0 * (numerator + 1) / (denominator + 1)
    return loss

我发现一些实现使用权重，但我不确定为什么，因为 mIoU 也没有加权。无论如何，当我使用权重时，训练会在几个时期后过早停止，测试结果很糟糕，因此我将它们注释掉了。

有人发现我的骰子损失实现有什么问题吗？我非常忠实地遵循在线示例。

为了加快标注过程，我只标注了平行四边形的多边形，并从一个更大的数据集中复制了一些标注。这导致每张图片只有几个地面实况分割:

(这张图片实际上包含的注释比平均值略多。)

Answer 1

我将添加公式以供将来回答的人引用。广义骰子损失由下式给出:

图片取自Sudre et al .

类由l迭代。每个像素位置由 n 迭代。概率 p_ln 可以在您的网络输出中使用 softmax 或 sigmoid 生成。

---

在您的实现中，损失在整个批处理中求和。这会产生非常大的损失值，并且您的网络梯度会爆炸。相反，您需要使用平均值。请注意，权重是确保您解决类不平衡问题所必需的。

没有具体证据表明 GDL 优于交叉熵，除了论文中提到的一个非常具体的例子。 GDL 很有吸引力，因为它与 IoU 直接相关，因此损失函数和评估指标会齐头并进。如果您仍未设法训练您的网络，我建议您永远转向交叉熵。