tensorflow - Keras 中 Adam 优化器的指数衰减学习率参数

Question

考虑以下信息:

• 初始学习率:0.0002

• 衰减系数:0.7

• ephocs:70

我的问题是选择衰减步骤，使衰减每两个时期发生一次。我该如何在 Keras 中解决这个问题？

这是指数衰减学习率的公式:

click here to view the image

Answer 1

似乎是 ExponentialDecay可以使用 LearningRateScheduler。要每两个时期衰减一次，decay_steps 应该是 num_steps_per_epoch * 2。还提供 staircase 参数作为 True，以便学习率离散衰减。

是这样的(我没有运行这段代码):

initial_learning_rate = 0.0002
steps_per_epoch = ...
lr_schedule = tf.keras.optimizers.schedules.ExponentialDecay(
    initial_learning_rate,
    decay_steps=steps_per_epoch * 2,
    decay_rate=0.7,
    staircase=True)

然后使用 learning_rate 参数将 lr_schedule 传递给 Adam。