python - 优化 Tensorflow 学习率

Question

如何动态找到最佳学习率和衰减率？

像 tf.train.exponential_decay 这样的函数不能根据不同情况动态更改，因为起始速率和衰减速率是预先定义的。

Answer 1

这是一个开放的研究问题，但对于大批量回溯线搜索可能很有用。

请注意，对于足够小的邻域，您的损失函数近似线性，因此如果您采取足够小的步长，您可以预测损失会减少多少。

因此，我们的想法是查看预测的损失减少与实际减少的情况。如果太接近，则说明您过于保守，需要增大步长。如果太远，则执行相反的操作。

TensorFlow 中没有内置原语可以执行此操作，但您可以使用较低级别的操作来实现它。以下是 MNIST 自动编码器的端到端示例:https://github.com/yaroslavvb/stuff/tree/master/line_search_example

学习率很快上升到0.05，然后收敛后就无法取得进展，因此下降到零。