machine-learning - softmax 的输出不应该有零，对吗？

Question

我正在 tensorflow 中的一个网络上工作，它产生一个向量，然后通过一个softmax，这是我的输出。

现在我一直在测试这个，奇怪的是向量(通过 softmax 的向量)在所有坐标中都有零，除了 1。

根据 softmax 的指数定义，我认为这不应该发生。这是一个错误吗？

编辑:我的向量是 120x160 =192000。所有值均为 float32

Answer 1

这可能不是一个错误。您还需要查看 softmax 的输入。该向量很可能具有非常负的值和单个非常正的值。这将产生一个包含全零和单个 1 值的 softmax 输出向量。

您正确地指出，由于指数的原因，softmax 分子永远不应该有零值。但是，由于浮点精度，分子可能是一个非常小的值，例如 exp(-50000)，其计算结果本质上为零。