machine-learning - Caffe中的 `lr_policy`是什么？

Question

我只是想知道如何使用 Caffe 。为此，我只是查看了示例文件夹中的不同 .prototxt 文件。有一个选项我不明白:

# The learning rate policy
lr_policy: "inv"

可能的值似乎是:

• “已修复”
• “inv”
• “步骤”
• “多步”
• “提前”
• “聚”

有人可以解释一下这些选项吗？

Answer 1

随着优化/学习过程的进展，降低学习率 (lr) 是一种常见的做法。然而，目前尚不清楚学习率到底应该如何作为迭代次数的函数而降低。

如果您使用DIGITS作为 Caffe 的接口(interface)，您将能够直观地看到不同的选择如何影响学习率。

固定:学习率在整个学习过程中保持固定。

<小时/>

inv:学习率衰减为 ~ 1/T

<小时/>

步骤:学习率是分段常数，每 X 次迭代就会下降

<小时/>

多步:任意间隔的分段常数

<小时/>

您可以在函数 SGDSolver<Dtype>::GetLearningRate 中准确地看到学习率是如何计算的。 (solvers/sgd_solver.cpp 第 ~30 行)。

<小时/>

最近，我遇到了一种有趣且非传统的学习率调整方法:Leslie N. Smith's work "No More Pesky Learning Rate Guessing Games" 。 Leslie 在他的报告中建议使用 lr_policy在降低和提高学习率之间交替。他的工作还提出了如何在 Caffe 中实现此策略。