tensorflow - Keras 中的自定义损失函数，用于惩罚中间层的输出

Question

假设我有一个卷积神经网络来分类 MNIST 数字，例如这个 Keras example .这纯粹是为了实验，所以我没有明确的理由或理由说明为什么要这样做，但假设我想规范或惩罚中间层的输出。我意识到下面的可视化与 MNIST CNN 示例不对应，而是只有几个完全连接的层。但是，为了帮助可视化我的意思，假设我想对第 4 层中的节点值施加惩罚(激活前或激活后对我来说都可以)。 除了具有多类分类典型的分类交叉熵损失项之外，我想在损失函数中添加另一个项，以最小化给定层输出的平方和。这在概念上有点类似于 l2 正则化，除了 l2 正则化是惩罚网络中所有权重的平方和。相反，我只对给定层(例如第 4 层)的值感兴趣，而不是网络中的所有权重。

我意识到这需要使用 keras 后端编写自定义损失函数来结合分类交叉熵和惩罚项，但我不确定如何在损失函数中使用中间层作为惩罚项。我将非常感谢有关如何执行此操作的帮助。谢谢!

Answer 1

实际上，您感兴趣的是正则化，在 Keras 中，大多数层都有两种不同的内置正则化方法(例如 Dense、Conv1D、Conv2D等):

• 权重正则化，对层的权重进行惩罚。通常，您可以在构造层时使用 kernel_regularizer 和 bias_regularizer 参数来启用它。例如:

   l1_l2 = tf.keras.regularizers.l1_l2(l1=1.0, l2=0.01)
   x = tf.keras.layers.Dense(..., kernel_regularizer=l1_l2, bias_regularizer=l1_l2)
  

• 事件正则化，它会惩罚层的输出(即激活)。要启用此功能，您可以在构造层时使用 activity_regularizer 参数:

   l1_l2 = tf.keras.regularizers.l1_l2(l1=1.0, l2=0.01)
   x = tf.keras.layers.Dense(..., activity_regularizer=l1_l2)
  

  请注意，您可以通过 activity_regularizer 参数为所有层设置事件正则化，甚至是自定义层。

在这两种情况下，惩罚都会被累加到模型的损失函数中，结果将是优化器在训练期间优化的最终损失值。

此外，除了内置的正则化方法(即 L1 和 L2)外，您还可以定义自己的自定义正则化方法(参见 Developing new regularizers)。与往常一样，documentation提供了可能有帮助的其他信息。