python - Tensorflow:您在 Adam 和 Adagrad 中设置的学习率只是初始学习率吗？

Question

我正在阅读此博客

https://smist08.wordpress.com/2016/10/04/the-road-to-tensorflow-part-10-more-on-optimization/

其中提到了所有 tensorflow 的学习率

optimizer = tf.train.GradientDescentOptimizer(learning_rate).minimize(loss, global_step=global_step)

optimizer = tf.train.AdadeltaOptimizer(starter_learning_rate).minimize(loss)

optimizer = tf.train.AdagradOptimizer(starter_learning_rate).minimize(loss)     # promising

optimizer = tf.train.AdamOptimizer(starter_learning_rate).minimize(loss)      # promising

optimizer = tf.train.MomentumOptimizer(starter_learning_rate, 0.001).minimize(loss) # diverges

optimizer = tf.train.FtrlOptimizer(starter_learning_rate).minimize(loss)    # promising

optimizer = tf.train.RMSPropOptimizer(starter_learning_rate).minimize(loss)   # promising

它表示您输入的学习率只是初始学习率。这是否意味着如果您在训练过程中更改学习率，该更改将无效，因为它不再使用起始学习率？

我尝试查看 API 文档，但它没有指定这一点。

Answer 1

简短回答:

除了第一行之外，其余的都是自适应梯度下降优化器，这意味着它们会在每一步中根据某些条件自动调整学习率。所以你给的学习率只是用来初始化。

以AdamOptimizer为例，您可以在这个article中了解其详细信息.