machine-learning - "learning rate warm-up"是什么意思？

Question

已关闭。此问题不符合 Stack Overflow guidelines 。目前不接受答案。

---

这个问题似乎与 help center 中定义的范围内的编程无关。 .

已关闭 2 年前。

已锁定。这个问题及其答案是 locked因为这个问题是题外话，但却具有历史意义。目前不接受新的答案或互动。

在机器学习，尤其是深度学习中，热身意味着什么？

我有时听说在某些模型中，热身是训练的一个阶段。但老实说，我不知道它是什么，因为我对机器学习还很陌生。到目前为止，我从未使用过或遇到过它，但我想了解它，因为我认为它可能对我有用。

什么是学习率预热以及我们什么时候需要它？

Answer 1

如果您的数据集高度差异化，您可能会遭受某种“早期过度拟合”的困扰。如果您的混洗数据恰好包含一组相关的、功能强大的观察结果，那么您的模型的初始训练可能会严重偏向这些特征，或更糟糕的是，偏向与主题根本不真正相关的附带特征。

热身是减少早期训练样本首因效应的一种方法。如果没有它，您可能需要运行几个额外的时期才能获得所需的收敛，因为模型会消除那些早期的迷信。

许多型号都将其作为命令行选项提供。学习率在预热期间线性增加。如果目标学习率为 p 并且预热期为 n，则第一个批量迭代使用 1*p/n 作为其学习率；第二个使用 2*p/n，依此类推:迭代 i 使用 i*p/n，直到我们达到名义利率迭代n。

这意味着第一次迭代仅获得首因效应的 1/n。这可以合理地平衡这种影响。

请注意，斜坡上升通常约为一个时期 - 但对于特别倾斜的数据，偶尔会更长，或者对于更均匀的分布，会更短。您可能需要进行调整，具体取决于将洗牌算法应用于训练集时批处理的功能极端程度。