tensorflow - tf.keras 中的 EarlyStopping 问题

Question

我正在训练我的第一个迁移学习模型(耶!)，当验证损失在超过 3 个时期内变化不超过 0.1 时，我无法让模型停止训练。

这是相关的代码块

early_stopping = tf.keras.callbacks.EarlyStopping(monitor='val_loss', patience=3, min_delta = 0.1)

model.compile(optimizer='adam',
          loss='sparse_categorical_crossentropy',
          metrics=['accuracy'],
          callbacks=[early_stopping])

EPOCHS = 100

history = model.fit(training_batches,
                epochs=EPOCHS,
                validation_data=validation_batches)

下面是一些日志:

    Epoch 32/100
    155/155 [==============================] - 21s 134ms/step - loss: 0.0042 - accuracy: 0.9998 - val_loss: 0.3407 - val_accuracy: 0.9012
    Epoch 33/100
    155/155 [==============================] - 21s 133ms/step - loss: 0.0040 - accuracy: 0.9998 - val_loss: 0.3443 - val_accuracy: 0.9000
    Epoch 34/100
    155/155 [==============================] - 21s 134ms/step - loss: 0.0037 - accuracy: 0.9998 - val_loss: 0.3393 - val_accuracy: 0.9019
    Epoch 35/100
    155/155 [==============================] - 21s 135ms/step - loss: 0.0031 - accuracy: 1.0000 - val_loss: 0.3396 - val_accuracy: 0.9000
    Epoch 36/100
    155/155 [==============================] - 21s 134ms/step - loss: 0.0028 - accuracy: 1.0000 - val_loss: 0.3390 - val_accuracy: 0.9000
    Epoch 37/100
    155/155 [==============================] - 21s 133ms/step - loss: 0.0026 - accuracy: 1.0000 - val_loss: 0.3386 - val_accuracy: 0.9025
    Epoch 38/100
    155/155 [==============================] - 21s 133ms/step - loss: 0.0024 - accuracy: 1.0000 - val_loss: 0.3386 - val_accuracy: 0.8994
    Epoch 39/100
    155/155 [==============================] - 21s 133ms/step - loss: 0.0022 - accuracy: 1.0000 - val_loss: 0.3386 - val_accuracy: 0.9019

问题:

• 当我将 EarlyStopping 回调设置为监控 val_loss 时，为什么训练没有在 Epoch 37 停止？
• 我可以执行更复杂的 EarlyStopping 回调吗？类似于“如果 val_accuracy > 0.90 && val_loss 在 3 个时期内变化不超过 0.1”。如果可以的话，我可以获得教程的链接吗？

Answer 1

编辑

它不起作用，因为您将 callback 参数放在了错误的方法调用中。 (事实上​​ ，我在使用传递给 compile 的 callbacks 拟合模型时收到无效参数错误。因此我不确定为什么你的模型编译没有问题。)

它应该在您的 fit 方法中，如下所示。请注意，建议在您的提前停止配置中设置 verbose = 1，以便打印出提前停止日志。

early_stopping = tf.keras.callbacks.EarlyStopping(monitor='val_loss', patience=3, min_delta = 0.1, verbose = 1)

model.compile(optimizer='adam',
          loss='sparse_categorical_crossentropy',
          metrics=['accuracy'])

EPOCHS = 100

history = model.fit(training_batches,
                epochs=EPOCHS,
                callbacks=[early_stopping], # call back should be here!
                validation_data=validation_batches)

关于你的第二个问题，自定义回调是可以的，你可以引用文档中的例子here .基本上，您必须在 on_epoch_end 中定义提前停止逻辑。

附带说明一下，我认为您不应该提前停止多个指标，选择一个重要的指标(即您正在优化的指标 - val_accuracy)并对其进行监控。甚至有一些来源不鼓励提前停止，而是将 epoch 视为可调超参数。在 Reddit 上查看此讨论主题我发现这很有用。