machine-learning - 人工神经网络软件程序中的学习率参数

Question

我正在使用一种称为人工神经网络的软件程序。软件的参数之一称为学习率(也称为 alpha)。学习率设置可以通过前后移动 slider 来控制。 slider 的一侧是值 1E-05，另一侧只是 1。中间有各种值，例如 9E-05、.000045 等。我想知道这 2 个学习率中的哪一个是最快的学习率，一侧为 1E-05，另一侧为 1。谢谢。

Answer 1

学习率与训练速度无关，而与步长的大小有关，当使用函数的相当幼稚的近似时(线性 - 对于一阶优化器，或二次优化器) - 对于第二个订单)。因此，非常小的学习率会导致训练缓慢，但大的学习率会导致训练不足。此外，两者之间的值仍然可能不是单调的(您可以进行训练，其中较小的学习率实际上比较大的学习率收敛得更快)。因此，尽管我们天真地可以说大学习率训练速度更快——而且一般来说这是不正确的——但我们无法回答什么学习率是最快的。您在这里只能使用一些一般的启发式/观察 - 您可以从较大的学习率开始，如果结果不好，请尝试降低它。但就实际训练时间保证而言——没有。