machine-learning - 如何检查多变量梯度下降是否正确收敛？

Question

在具有 1 个变量的线性回归中，我可以清楚地看到图预测线，并且可以看到它是否正确适合训练数据。我只是创建一个包含 1 个变量和输出的图，并根据找到的 Theta 0 和 Theta 1 值构建预测线。所以，它看起来像这样:

<小时/>

但是我如何检查在多个变量/特征上实现的梯度下降结果的有效性。例如，如果特征数量为 4 或 5。如何检查它是否正常工作以及找到的所有 theta 值是否有效？我是否必须仅依赖根据执行的迭代次数绘制的成本函数？

Answer 1

梯度下降收敛到局部最小值，这意味着一阶导数应为零，第二阶导数应为非正数。检查这两个矩阵将告诉您算法是否已收敛。