python - Keras 的 CategoricalCrossEntropy 到底在做什么？

Question

我正在将 keras 模型移植到 torch并且我无法复制 keras/tensorflow 的确切行为 'categorical_crossentropy'在 softmax 层之后。我对这个问题有一些解决方法，所以我只对了解计算分类交叉熵时 tensorflow 究竟计算什么感兴趣。
作为一个玩具问题，我设置了标签和预测向量

>>> import tensorflow as tf
>>> from tensorflow.keras import backend as K
>>> import numpy as np


>>> true = np.array([[0.0, 1.0], [1.0, 0.0]])
>>> pred = np.array([[0.0, 1.0], [0.0, 1.0]])

并计算分类交叉熵:

>>> loss = tf.keras.losses.CategoricalCrossentropy()
>>> print(loss(pred, true).eval(session=K.get_session()))
8.05904769897461

这与分析结果不同

>>> loss_analytical = -1*K.sum(true*K.log(pred))/pred.shape[0]
>>> print(loss_analytical.eval(session=K.get_session()))
nan

我深入研究了 keras/tf 的交叉熵的源代码(参见 Softmax Cross Entropy implementation in Tensorflow Github Source Code)，并在 https://github.com/tensorflow/tensorflow/blob/c903b4607821a03c36c17b0befa2535c7dd0e066/tensorflow/compiler/tf2xla/kernels/softmax_op.cc 找到了 c 函数。第 116 行。在该函数中，有一条注释:

// sum(-labels *
// ((logits - max_logits) - log(sum(exp(logits - max_logits)))))
// along classes
// (The subtraction broadcasts along the batch dimension.)

并实现这一点，我试过:

>>> max_logits = K.max(pred, axis=0)
>>> max_logits = max_logits
>>> xent = K.sum(-true * ((pred - max_logits) - K.log(K.sum(K.exp(pred - max_logits)))))/pred.shape[0]

>>> print(xent.eval(session=K.get_session()))
1.3862943611198906

我还尝试打印 xent.eval(session=K.get_session()) 的跟踪记录，但跟踪长度约为 95000 行。所以它引出了一个问题:在计算 'categorical_crossentropy' 时，keras/tf 到底在做什么？ ?它不返回 nan 是有道理的，这会导致训练问题，但是 8 来自哪里？

Answer 1

以下是我在您的代码中注意到的一些内容。
首先，您的预测显示两个数据实例， [0.0, 1.0] 和 [0.0, 1.0] 。

pred = np.array([[0.0, 1.0], [0.0, 1.0]])

它们应该表示概率，但 softmax 之后的值通常不完全是 0.0 和 1.0。改为尝试 0.01 和 0.99。
其次， arguments to the CateogoricalCrossEntropy() call 应该是 true, pred ，而不是 pred, true 。
所以这就是我得到的:

import tensorflow as tf
from tensorflow.keras import backend as K
import numpy as np

true = np.array([[0.0, 1.0], [1.0, 0.0]])
pred = np.array([[0.01, 0.99], [0.01, 0.99]])

loss = tf.keras.losses.CategoricalCrossentropy()
print(loss(true, pred).numpy())
# 2.307610273361206

为了完整起见，让我们尝试使用 pred, true 执行的操作:

print(loss(pred, true).numpy())
# 8.05904769897461

那就是你神秘的 8.05 的来源。
我的回答 2.307610273361206 正确吗？让我们手动计算损失。按照 this StackOverflow post 中的解释，我们可以计算两个数据实例中每一个的损失，然后计算它们的平均值。

loss1 = -(0.0 * np.log(0.01) + 1.0 * np.log(0.99))
print(loss1) # 0.01005033585350145

loss2 = -(1.0 * np.log(0.01) + 0.0 * np.log(0.99))
print(loss2) # 4.605170185988091

# Total loss is the average of the per-instance losses.
loss = (loss1 + loss2) / 2
print(loss) # 2.307610260920796

所以看起来 CategoricalCrossEntropy() 正在产生正确的答案。