python - Keras 中的全局权重衰减

Question

有没有办法在 Keras 中设置全局权重衰减？

我知道使用正则化器(https://keras.io/regularizers/)的层智能，但我找不到任何关于设置全局权重衰减的方法的信息。

Answer 1

无法立即将“全局”权重衰减直接应用于整个 keras 模型。

但是，正如我描述的那样here ，您可以通过遍历其层并在适当的层上手动应用正则化器来对模型进行权重衰减。这是相关的代码片段:

model = keras.applications.ResNet50(include_top=True, weights='imagenet')
alpha = 0.00002  # weight decay coefficient

for layer in model.layers:
    if isinstance(layer, keras.layers.Conv2D) or isinstance(layer, keras.layers.Dense):
        layer.add_loss(lambda layer=layer: keras.regularizers.l2(alpha)(layer.kernel))
    if hasattr(layer, 'bias_regularizer') and layer.use_bias:
        layer.add_loss(lambda layer=layer: keras.regularizers.l2(alpha)(layer.bias))