Tensorflow tf.losses.cosine_distance 大于 1

Question

我正在 Tensorflow 上训练神经网络，并使用 tf.losses.cosine_distance 作为损失函数。

训练进展顺利，但我担心的是，在训练过程中，我的损失值 > 1。余弦距离(如果输入张量标准化为 1)应该始终是小于 1 的值？损失是如何计算的？是一批损失的总和吗？

Answer 1

正确，tf.losses.cosine_distance有 reduction 参数，默认情况下等于 reduction=Reduction.SUM_BY_NONZERO_WEIGHTS:

cosine_distance(
    labels,
    predictions,
    dim=None,
    weights=1.0,
    scope=None,
    loss_collection=tf.GraphKeys.LOSSES,
    reduction=Reduction.SUM_BY_NONZERO_WEIGHTS      # <-- Here
)

在这种情况下，它计算批处理中所有余弦距离的总和。将其更改为 Reduction.MEAN，您将获得整个批处理的平均损失，这通常是您想要的。