machine-learning - 梯度下降和正态方程为多元线性回归提供不同的 theta 值。为什么？

Question

梯度下降的向量化实现

for iter = 1:num_iters

 theta = theta - (alpha / m) * X' * (X * theta - y);   
 J_history(iter) = computeCostMulti(X, y, theta);

end

computeCostMulti()的实现

function J = computeCostMulti(X, y, theta)
 m = length(y);
 J = 0;
 J = 1 / (2 * m) * (X * theta - y)' * (X * theta - y);

正规方程实现

theta = pinv(X' * X) * X' * y;

对于相同的 X 和 y 值，这两种实现会收敛到不同的 theta 值。正规方程给出了正确的答案，但梯度下降给出了错误的答案。

梯度下降的实现有什么问题吗？

Answer 1

我想当你使用梯度下降时，你首先使用特征缩放来处理你的输入。这不是用正规方程方法完成的(因为不需要特征缩放)，这应该会导致不同的 theta。如果您使用模型进行预测，它们应该会得出相同的结果。