python - 如何按元素应用二元交叉熵，然后在 Keras 中对所有这些损失求和？

Question

我想编写一个带有两个参数的函数，A和B ，相同形状的张量(例如 13x13 或其他形状)，并且返回一个数字，该数字表示按组件应用二进制交叉熵时所有损失的总和。所以，对于A[i, j]和B[i, j]我们找到二元交叉熵损失，然后对所有i求和和j 。如何在 Keras 和 Tensorflow 中实现它？

Answer 1

this answer中建议的解决方案实际上可能不是您(读者)正在寻找的内容。

如果A和B是NxM ，其中M > 1 ，然后binary_crossentropy(A, B)不会按元素计算二进制交叉熵，但 binary_crossentropy(A, B)返回形状为 Nx1 的数组，其中binary_crossentropy(A, B)[i]对应于 A[i] 之间的平均二元交叉熵和B[i] (即，它计算 A[i][j] 和 B[i][j] 之间的二进制交叉熵，对于所有 j ，然后计算 M 二进制交叉熵的平均值)。

如果要计算元素A(i, j)之间的二元交叉熵和B(i, j) ，对于所有人i和j ，那么你可能首先要 reshape A和B ，使它们具有形状 (N*M)x1 .

import numpy as np
import tensorflow as tf

a = np.random.rand(4, 2).reshape((-1, 1))
b = np.random.rand(4, 2).reshape((-1, 1))
print("ce between a[i, j] and b[i, j]) =", tf.losses.binary_crossentropy(a, b))
print("average cross-entropy =", np.mean(tf.losses.binary_crossentropy(a, b)))

但是，如果你想计算 A 之间的二元交叉熵和B逐元素并取所有二元交叉熵的平均值，那么您不需要 reshape A和B 。所以，如果A和B是NxM数组，然后 binary_crossentropy(A, B)产生 Nx1数组，其中每个元素对应于行 i 之间的平均二进制交叉熵的A和行i的B (对于 i=1, ..., N )。最后，为了取所有二元交叉熵的平均值，我们还需要取 binary_crossentropy(A, B) 的平均值。 ，即tf.reduce_mean(binary_crossentropy(A, B)) .