machine-learning - 梯度下降 - 步长值

Question

令k = alpha *partial_derivative ( J (theta1) ) w.r.t theta1

theta1 := theta1 - k。

在Andrew的类(class)中，他说alpha是学习率。如果导数为正，我们减去alpha * k，如果导数为负，我们加上它。为什么我们需要减去这个 alpha *partial_derivative ( J (theta1) ) w.r.t theta1 而不是 alpha * 只是导数的符号？

这里需要什么乘法？谢谢。

Answer 1

当我们达到最小值时，我们需要减小 k 的值 - 步长值。众所周知，当达到最小值时，导数也会为零。因此，我们将 alpha 与导数相乘，生成一个步进值，当我们达到最小值时，该值趋于零。