tensorflow - 我应该如何理解 tensorflow 对象检测 api 中的预热学习率？

Question

你能解释一下它在训练过程中是如何工作的吗？

learning_rate: {
        cosine_decay_learning_rate {
          learning_rate_base: 8e-2
          total_steps: 300000
          warmup_learning_rate: .0001
          warmup_steps: 400
        }
      }```

Answer 1

回答我自己的问题 :) 使用上述设置，训练从 lr=0.0001 开始，并在 400 个时期(warmup_steps)结束时达到 0.08。直到第 400 个时期 lr 线性递增。