python - 在 RGB 图像的 tensorflow 中使用 SSIM 损失函数

Question

我想使用 SSIM 指标 作为我在 tensorflow 中处理的模型的损失函数。 SSIM 应该测量我的去噪自动编码器的重建输出图像与输入未损坏图像 (RGB) 之间的相似性。

据我了解，要在 tensorflow 中使用 SSIM 指标，图像应标准化为 [0,1] 或 [0,255] 而不是 [-1,1]。在将我的张量转换为 [0,1] 并将 SSIM 作为我的损失函数后，重建的图像是黑白的，而不是彩色的 RGB 图像。

tf.reduce_mean(tf.image.ssim(reconstructed, truth, 1.0))

我的模型在 MSE(均方误差)下运行良好，重建的图像是彩色的 (RGB)。

使用 tf.losses.mean_squared_error(truth, reconstructed) 重建的图像将是 RGB 图像，而使用 SSIM 将给我一个一维图像。

为什么在 tensorflow 中使用 SSIM 作为损失函数会得到与 MSE 不同的结果(就重建图像 channel 而言)？

Answer 1

我能够通过将图像的动态范围更改为 2.0 来解决问题，因为我的图像在 [-1, 1] 之间按比例缩放:

loss_rec = tf.reduce_mean(tf.image.ssim(truth, reconstructed, 2.0))

并且由于更高的 SSIM 值表明更好的图像质量，我必须最小化损失函数 (SSIM) 的负数以优化我的模型:

optimizer = tf.train.AdamOptimizer(learning_rate).minimize(-1 * loss_rec)