matrix - 梯度下降: thetas not converging

Question

我正在尝试用 Octave 计算梯度下降。每次迭代，我的 theta 都会呈指数级增长。我不确定问题是什么，因为我直接复制另一个函数。

这是我的矩阵:

X = 1 98
    1 94
    1 93
    1 88
    1 84
    1 82
    1 79

y = 97
    94
    94
    78
    85
    85
    76

theta = 1
        1

我正在使用这个公式:

theta = theta - 0.001 * (1 / 7) * (X' * (X * theta - y))

我使用正规方程计算出最佳 theta 是多少，但仅经过几次迭代后，我的 theta 就达到了数千。知道出了什么问题吗？

Answer 1

您似乎正在使用梯度下降进行线性回归，其中您的学习率太高，正如前面的答案中所提到的，这篇文章只是添加一些可视化并准确解释您的案例中发生的情况。

如下图所示，学习率足够高，可以收敛到凸成本面中的全局最小值，并且由于步长太大，theta值会振荡并错过最小值点(如右图所示) )。如果你降低学习率(如 LHS)，收敛率会降低，但最终会达到全局最小值。

你需要找到一个合适的 alpha(学习率)，这样收敛速度就不会太慢或太高(这取决于数据，缩放特征会有所帮助)。