python - 正确的排名损失实现

Question

我有一个多标签问题，我正在尝试将排名损失作为 TensorFlow 中的自定义损失来实现。 ( https://arxiv.org/pdf/1312.4894.pdf )

我制作了一个带有最终 Sigmoid 激活层的简单 CNN，以便为每个类别提供独立的分布。
数学公式将标签分成两组，正组和负组。

我的问题是，正确的实现方式是什么？

def ranking_loss(y_true, y_pred):    
    pos = tf.where(tf.equal(y_true, 1), y_pred, tf.zeros_like(y_pred))
    neg = tf.where(tf.equal(y_true, 0), y_pred, tf.zeros_like(y_pred))

    loss = tf.maximum(1.0 - tf.math.reduce_sum(pos) + tf.math.reduce_sum(neg), 0.0)
    return tf.math.reduce_sum(loss)

结果是，对于每个样本，正类和负类的激活得分是独立求和的。

tr = [1, 0, 0, 1]
pr = [0, 0.6, 0.55, 0.9]
t =  tf.constant([tr])
p =  tf.constant([pr])

print(ranking_loss(t, p))

tf.Tensor([[0.  0.  0.  0.9]], shape=(1, 4), dtype=float32) #Pos
tf.Tensor([[0.   0.6  0.55 0.  ]], shape=(1, 4), dtype=float32) #Neg
tf.Tensor(1.2500001, shape=(), dtype=float32) #loss

CNN 的准确率、召回率和 F1 性能都很差。
改用标准的二进制交叉熵损失会产生良好的性能，这让我觉得我的实现有问题。

Answer 1

我认为根据公式和总和 tf.math.reduce_sum(pos) 和 tf.math.reduce_sum(neg) 的展开是不正确的code> 不能被插入 tf.maximum。正如我所见，您示例的公式将扩展为:

最大值(0, 1-0+0.6) + 最大值(0, 1-0+0.55) + 最大值(0, 1-0.9+0.6) + 最大值(0, 1-0.9+0.55) = 4.5

您在评论部分提供的第二个实现对我来说很合理，并产生了我预期的结果。但是，让我提供一个替代方案:

def ranking_loss(y_true, y_pred):
    y_true_ = tf.cast(y_true, tf.float32)
    partial_losses = tf.maximum(0.0, 1 - y_pred[:, None, :] + y_pred[:, :, None])
    loss = partial_losses * y_true_[:, None, :] * (1 - y_true_[:, :, None])
    return tf.reduce_sum(loss)

这个实现可能更快。