python - tf.nn.sigmoid_cross_entropy_with_logits 权重

Question

我有大约 1000 个类的多标签问题，但一次只选择了少数几个。当使用 tf.nn.sigmoid_cross_entropy_with_logits 时，这会导致损失很快接近 0，因为有 990+ 0 被预测。

loss = tf.reduce_mean(tf.nn.sigmoid_cross_entropy_with_logits(logits, labels))

在数学上是否可以将损失乘以一个大常数(比如 1000)，这样我就可以在 tensorboard 中绘制我可以实际区分的损失数字？我意识到我可以简单地乘以我正在绘制的值(而不影响我传递给 train_op 的值)，但我试图更好地理解将 train_op 乘以一个常数是否会产生任何实际效果。例如，我可以实现以下任何选择，并尝试考虑可能的后果:

1. loss = tf.reduce_mean(tf.multiply(tf.nn.sigmoid_cross_entropy_with_logits(logits, labels), 1000.0))
2. loss = tf.multiply(tf.reduce_mean(tf.nn.sigmoid_cross_entropy_with_logits(logits, labels)), 1000.0)

如果像这样引入常量，您认为训练结果会有所不同吗？

Answer 1

你的损失越大，你的梯度就越大。因此，如果将损失乘以 1000，则梯度步长会很大并可能导致发散。研究梯度下降和反向传播以更好地理解这一点。

此外，reduce_mean 计算张量所有元素的平均值。在平均值之前或之后相乘在数学上是相同的。因此，您的两条线在做同样的事情。

如果你想乘以你的损失只是为了操纵更大的数字来绘制它们，只需创建另一个张量并乘以它。您将使用损失进行训练，将 multiplied_loss 用于绘图。

loss = tf.reduce_mean(tf.nn.sigmoid_cross_entropy_with_logits(logits, labels))
multiplied_loss = tf.multiply(loss, 1000.0)
optimizer.minimize(loss)
tf.summary.scalar('loss*1000', multiplied_loss)

当然，这段代码还不够，请根据您的情况进行调整。