keras - Keras 如何处理分类交叉熵的 log(0)？

Question

我有一个在 MNIST 上训练的神经网络，其损失函数是分类交叉熵。

出于理论目的，我的输出层是 ReLu。因此很多它的输出为 0。

现在我偶然发现了以下问题:

为什么我没有得到很多错误，因为肯定会有很多零在我的输出中，我将记录下来。

这里，为了方便起见，使用分类交叉熵的公式。

Answer 1

它没有记录在 https://keras.io/losses/#categorical_crossentropy 中它似乎取决于后端，但我很确定他们不会生成 log y，而是生成 log(y+ epsilon)，其中 epsilon 是防止 log(0) 的小常量。