python - "Too early"在 Keras 中提前停止

Question

我正在使用 Keras 训练神经网络，使用提前停止。然而，在训练时，网络很早就达到了验证损失异常低的点，一段时间后就变平了，就像这样。

当使用 patience = 50 的提前停止时，验证损失趋于平缓，但在开始时永远不会低于验证损失。

我用 rmsprop(学习率从 0.1 到 1e-4)和 adam 优化器对网络进行了多次训练，结果相同。

有谁知道在监控验证损失以选择最佳模型之前，是否有办法为网络设置“老化期”(如在马尔可夫链蒙特卡罗模型中)？

Answer 1

也许我晚了 2/3 年，但我遇到了同样的问题，我已经解决了这个回调的编码问题:

class DelayedEarlyStopping(tf.keras.callbacks.EarlyStopping):
    def __init__(self, burn_in, **kwargs):
        super(DelayedEarlyStopping, self).__init__(**kwargs)
        self.burn_in = burn_in

    def on_epoch_end(self, epoch, logs=None):
        if epoch >= self.burn_in:
            super().on_epoch_end(epoch, logs)
        else:
            super().on_train_begin(logs=None)

early_stopping_monitor = DelayedEarlyStopping(
    100,
    monitor='val_total_loss',
    min_delta=0,
    patience=20,
    verbose=0,
    mode='auto',
    baseline=40,
    restore_best_weights=True
)