algorithm - 梯度下降不会返回线性函数的错误预测

Question

我已经实现了以下 Batch Gradient descednt 算法，基于我能够在网络和讲义中找到的各种来源。

这个实现在停止标准方面并不理想，但对于我的示例来说它应该可以工作。

输入:

x = [1,1;1,2;1,3;1,4;1,5];
y = [1;2;3;4;5];
theta = [0;0];

代码:

tempTheta = [0;0];

for c = 1:10000,
    for j = 1:2,
        sum = 0;
        for i = 1:5,
            sum = sum + ((dot(theta', x(i, :)) - y(j)) * x(i,j)); 
        end
        sum = (sum / 5) * 0.01;

        tempTheta(j) = theta(j) - sum;
    end
    theta = tempTheta;
end

预期结果是 theta = [0;1]，但我的实现总是返回 theta = [-3.5, 1.5]。

我尝试了 alpha 和起点的各种组合，但没有成功。我哪里出错了？

Answer 1

在这一行

sum = sum + ((dot(theta', x(i, :)) - y(j)) * x(i,j));

你使用了错误的 y 索引，它应该是 y(i)，因为 j 是一个维度迭代器，而不是示例迭代器。

改变之后

theta =

  -1.5168e-07
   1.0000e+00