python - Tensorflow Adam 优化器 vs Keras Adam 优化器

Question

我最初在 Keras 中开发了一个分类器，我的优化器很容易在其中应用衰减。

adam = keras.optimizers.Adam(decay=0.001)

最近我试图将整个代码更改为纯 Tensorflow，但无法弄清楚如何将相同的衰减机制正确应用到我的优化器。

optimizer = tf.train.AdamOptimizer()
train_op = optimizer.minimize(loss=loss,global_step=tf.train.get_global_step())

如何将在我的 Keras 代码片段中看到的相同学习率衰减应用于我的 Tensorflow 片段？

Answer 1

您可以在 tensorflow 中找到关于衰减的不错的文档:

...
global_step = tf.Variable(0, trainable=False)
starter_learning_rate = 0.1
learning_rate = tf.train.exponential_decay(starter_learning_rate, global_step,
                                           100000, 0.96, staircase=True)

learning_step = ( tf.train.GradientDescentOptimizer(learning_rate)
    .minimize(...my loss..., global_step=global_step)
)

tf.train.exponential_decay对学习率应用指数衰减。

其他衰变:

• inverse_time_decay
• polynomial_decay
• linear_cosine_decay
• exponential_decay
• cosine_decay
• cosine_decay_restarts
• natural_exp_decay
• noisy_linear_cosine_decay

Keras 在 AdamOptimizer 中实现了类似下面的衰减，非常接近 inverse_time_decay在 tensorflow 中:

lr = self.lr * (1. / (1. + self.decay * self.iterations))