machine-learning - keras.activations.softmax 和 keras.layers.Softmax 之间有什么区别？

Question

keras.activations.softmax 和 keras.layers.Softmax 之间有什么区别？为什么同一个激活函数有两种定义？

keras.activations.softmax:https://keras.io/activations/

keras.layers.Softmax:https://keras.io/layers/advanced-activations/

Answer 1

他们在所做的事情上是相同的。实际上，Softmax 层会调用 activations.softmax under the hood :

def call(self, inputs):
    return activations.softmax(inputs, axis=self.axis)

但是，它们的区别在于，Softmax层可以直接用作层:

from keras.layers import Softmax

soft_out = Softmax()(input_tensor)

但是，activations.softmax 不能直接用作图层。相反，您可以通过 activation 参数将其作为其他层的激活函数传递:

from keras import activations

dense_out = Dense(n_units, activation=activations.softmax)

此外，请注意，使用 Softmax 层的好处是它需要一个 axis 参数，您可以在输入的另一个轴上计算 softmax，而不是在其上最后一个轴(默认):

soft_out = Softmax(axis=desired_axis)(input_tensor)