machine-learning - 使用 softmax 进行事件正则化？

Question

我的生成神经网络的最后一层有一个 l1 Activity_regularizer=l1:

outputs = Dense(200, activation='softmax', activity_regularizer=l1(1e-5))(x)

它使我的结果更好，但我不明白为什么它会改变 softmax 激活的任何内容。输出之和 = 1 ，所有正值始终为正，因此无论如何，正则化器都应该给出完全相同的损失。

activity_regularizer=l1(1e-5) 在我的训练中做了什么？

Answer 1

由于 Softmax，L1 正则化对总成本的贡献实际上是恒定的。

但是，正则化项的梯度非零并且等于非零激活的数量(abs的梯度为sign em>，因此我们得到了激活值的符号总和，这些激活值由于 softmax 而为正值)。

您可以尝试使用或不使用 L1 项来运行，并检查最终有多少个非零元素。