machine-learning - TensorFlow 网站中衰减学习率的示例实际上会衰减学习率吗？

Question

我正在阅读衰减的学习率，并认为文档中可能存在错误并想确认。它说衰减方程是:

decayed_learning_rate = learning_rate * decay_rate ^ (global_step / decay_steps)

但是，如果global_step = 0我猜永远不会衰减，对吧？但是，请看示例:

...
global_step = tf.Variable(0, trainable=False)
starter_learning_rate = 0.1
learning_rate = tf.train.exponential_decay(starter_learning_rate, global_step,
                                           100000, 0.96, staircase=True)
# Passing global_step to minimize() will increment it at each step.
learning_step = (
    tf.GradientDescentOptimizer(learning_rate)
    .minimize(...my loss..., global_step=global_step)
)

它的 global_step = tf.Variable(0, trainable=False) 设置为零。因此，没有腐烂。这是正确的推论吗？

我认为当阶梯函数设置为 true 时，由于整数除法可能会出现警告，但即使在整数除法中，似乎仍然没有衰减。还是对楼梯的作用存在误解？

Answer 1

变量 global_step 被传递给 minimize 函数，并且每次运行训练操作 learning_step 时都会递增。

它甚至写在代码的注释中:

# Passing global_step to minimize() will increment it at each step.