python - 如何在 Keras 中设置自适应学习率

Question

下面是我的代码:

model = Sequential([
    Dense(32, input_shape=(32,), activation = 'relu'),
    Dense(100, activation='relu'),
    Dense(65, input_shape=(65,), activation='softmax')
])

model.summary()
model.compile(SGD(lr=.1), loss='binary_crossentropy', metrics=['accuracy'])
model.fit(train_samples, train_labels, batch_size=1000, epochs=1000,shuffle = True, verbose=2)

如何设置模型的自适应学习率？

Answer 1

您不需要按照其他答案的建议重新编译模型。 Keras 附带可用于此任务的回调。更准确地说，您可以使用 LearningRateScheduler 回调并向其传递一些函数，该函数将根据当前纪元索引调整学习率。

假设您希望学习率是纪元索引的某个数字(可能不是最好的想法，但很容易理解)

def adapt_learning_rate(epoch):
    return 0.001 * epoch

现在我们有了函数，我们可以创建一个学习调度程序，负责计算每个时期开始时的学习率。

my_lr_scheduler = keras.callbacks.LearningRateScheduler(adapt_learning_rate)

最后要做的就是将此回调传递给 fit 方法。

model.fit(X, y, ..., callbacks=[my_lr_scheduler])