math - 为什么使用 softmax 而不是标准标准化？

Question

在神经网络的输出层中，通常使用softmax函数来近似概率分布:

由于指数的原因，计算成本很高。为什么不简单地执行 Z 变换，使所有输出均为正，然后通过将所有输出除以所有输出之和来进行归一化？

Answer 1

与标准归一化相比，Softmax 有一个很好的属性。

它对神经网络的低刺激(想想模糊的图像)使用react，分布相当均匀，对高刺激(即大数字，想想清晰的图像)使用react，概率接近 0 和 1。

虽然标准标准化并不重要，只要比例相同即可。

看看当 soft max 的输入大 10 倍时会发生什么，即你的神经网络得到清晰的图像并且许多神经元被激活

>>> softmax([1,2])              # blurry image of a ferret
[0.26894142,      0.73105858])  #     it is a cat perhaps !?
>>> softmax([10,20])            # crisp image of a cat
[0.0000453978687, 0.999954602]) #     it is definitely a CAT !

然后将其与标准标准化进行比较

>>> std_norm([1,2])                      # blurry image of a ferret
[0.3333333333333333, 0.6666666666666666] #     it is a cat perhaps !?
>>> std_norm([10,20])                    # crisp image of a cat
[0.3333333333333333, 0.6666666666666666] #     it is a cat perhaps !?