machine-learning - 使用梯度下降理解 Logistic 回归的代码

Question

我正在关注 Siraj Raval 关于使用梯度下降的逻辑回归的视频:

1) 较长视频的链接: https://www.youtube.com/watch?v=XdM6ER7zTLk&t=2686s

2) 较短视频的链接: https://www.youtube.com/watch?v=xRJCOz3AfYY&list=PL2-dafEMk2A7mu0bSksCGMJEmeddU_H4D

在视频中，他谈到使用梯度下降来减少一定次数迭代的误差，从而使函数收敛(斜率变为零)。他还通过代码说明了该过程。以下是代码中的两个主要函数:

def step_gradient(b_current, m_current, points, learningRate):
    b_gradient = 0
    m_gradient = 0
    N = float(len(points))
    for i in range(0, len(points)):
        x = points[i, 0]
        y = points[i, 1]
        b_gradient += -(2/N) * (y - ((m_current * x) + b_current))
        m_gradient += -(2/N) * x * (y - ((m_current * x) + b_current))
    new_b = b_current - (learningRate * b_gradient)
    new_m = m_current - (learningRate * m_gradient)
    return [new_b, new_m]

def gradient_descent_runner(points, starting_b, starting_m, learning_rate, num_iterations):
    b = starting_b
    m = starting_m
    for i in range(num_iterations):
        b, m = step_gradient(b, m, array(points), learning_rate)
    return [b, m]

#The above functions are called below:
    learning_rate = 0.0001
    initial_b = 0 # initial y-intercept guess
    initial_m = 0 # initial slope guess
    num_iterations = 1000
    [b, m] = gradient_descent_runner(points, initial_b, initial_m, learning_rate, num_iterations)
# code taken from Siraj Raval's github page 

为什么 b 和 m 的值在所有迭代中都不断更新？经过一定次数的迭代后，当我们找到使斜率 = 0 的 b 和 m 值时，函数将收敛。

那么为什么我们在该点之后继续迭代并继续更新 b & m ？这样，我们不会丢失“正确的”b & m 值吗？如果我们在收敛后继续更新值，学习率如何帮助收敛过程？那么，为什么没有检查收敛性，那么这实际上是如何工作的呢？

Answer 1

实际上，您很可能无法完全达到 0 度坡度。将您的损失函数视为一个碗。如果你的学习率太高，可能会超过碗的最低点。相反，如果学习率太低，你的学习就会变得太慢，并且在所有迭代完成之前都不会达到碗的最低点。

这就是为什么在机器学习中，学习率是一个需要调整的重要超参数。