machine-learning - 如何计算像素级预测的交叉熵

Question

我正在 Keras 中运行 FCN，它使用 binary cross-entropy作为损失函数。但是，我不确定损失是如何累积的。

我知道损失是在像素级别应用的，但是图像中每个像素的损失是否汇总形成每个图像的单个损失？或者不是进行求和，而是进行平均？

此外，每个图像的损失是否只是在批处理上简单地求和(或者是其他操作)？

Answer 1

我假设您的问题是一般性问题，并且针对特定模型(如果不是，您可以分享您的模型吗？)。

你是对的，如果在像素级别使用交叉熵，则必须在所有像素上减少(求和或平均)结果以获得单个值。

这是 tensorflow 中卷积自动编码器的示例，其中此步骤是特定的:

https://github.com/udacity/deep-learning/blob/master/autoencoder/Convolutional_Autoencoder_Solution.ipynb

相关行是:

loss = tf.nn.sigmoid_cross_entropy_with_logits(labels=targets_, logits=logits)
cost = tf.reduce_mean(loss)

无论采用成本函数的平均值还是总和都不会改变最小化器的值。但如果您取平均值，那么当您更改批量大小或图像大小时，成本函数的值在实验之间更容易进行比较。