python - 当学习率降低时增加纪元数

Question

我正在使用:

ReduceLROnPlateau(monitor='val_loss', factor=0.1, patience=50)

当我降低学习率值时，如何增加纪元数。

当开始时 lr = 0.2 时，我希望耐心 = 50，并且随着学习率的降低，历元数最高(例如，当 lr = 0.02 时，耐心 = 100，当 lr = 0.002 时，耐心 = 1000)当 lr 很小时，给算法更多的时间。

Answer 1

我相信通过复制 Keras 的代码并修改它来实现您自己的 ReduceLROnPlateau 类是可能的。

This is the class您可以复制并修改。

将类签名更改为:

类ReduceLROnPlateau(Keras.callbacks.Callback)

然后查找将等待时间与耐心进行比较以及 LR 减少的行。修改这些行，让您在 LR 达到一定值时保持更长的耐心。

最后，在回调中使用此类，而不是 Keras 的 ReduceLROnPlateau。