tensorflow - 为什么在损失函数中使用均值而不是求和？

Question

为什么在损失函数中使用 mean 而不是 sum？

即有什么理由首选这个

def mae_loss(y_true, y_pred):
    loss = tf.reduce_mean(tf.abs(y_true-y_pred))
    return loss

对此

def mae_loss(y_true, y_pred):
    loss = tf.reduce_sum(tf.abs(y_true-y_pred))
    return loss

在 Keras 源代码中也使用 mean 变体:

https://github.com/keras-team/keras/blob/5a7a789ee9766b6a594bd4be8b9edb34e71d6500/keras/losses.py#L17

Answer 1

我们通常计算损失是为了与其他人进行比较或尽可能减少它。如果只求sum而不求均值，结果会根据数据的多少而变化，那么凭直觉很难判断大不大。这就是为什么我们通常使用“均方误差”或“平均绝对误差”而不是它们的总和。