neural-network - 为什么需要 softmax 函数？为什么不简单归一化？

Question

我不熟悉深度学习，所以这可能是一个初学者问题。在我的理解中，多层感知器中的 softmax 函数负责每个类的归一化和分布概率。如果是这样，我们为什么不使用简单的归一化？

比方说，我们得到一个向量 x = (10 3 2 1)应用 softmax，输出将为 y = (0.9986 0.0009 0.0003 0.0001)。

应用简单规范化(将每个元素除以 sum(16))输出将为 y = (0.625 0.1875 0.125 0.166)。

似乎简单的归一化也可以分布概率。那么，在输出层使用softmax函数有什么好处呢？

Answer 1

归一化并不总是产生概率，例如，当您考虑负值时它就不起作用。或者如果值的总和为零怎么办？

但是使用 logits 的指数改变了这一点，理论上它永远不会为零，并且它可以将 logits 的整个范围映射到概率中。所以它是首选，因为它确实有效。