matlab - 梯度下降矢量化计算维度不正确

Question

我有 1 个输入层、2 个隐藏层和 1 个输出层，对于单个训练示例 x 和输出 y，我计算如下:

x = [1;0;1]; 
y = [1;1;1]; 

    theta1 =

        4.7300    3.2800    1.4600
             0         0         0
        4.7300    3.2800    1.4600

    theta2 =

        8.8920    8.8920    8.8920
        6.1670    6.1670    6.1670
        2.7450    2.7450    2.7450

    theta3 =

        9.4460    6.5500    2.9160
        9.3510    6.4850    2.8860
        8.8360    6.1270    2.7270

theta1 控制输入层和 layer1 之间的映射theta2 控制 layer1 和 layer2 之间的映射theta3控制layer2和输出层之间的映射

但是计算梯度下降使用:theta(i) = theta(i) - (alpha/m .* (x .* theta(i)-y)' * x)' 其中 i = 1 或 2 或 3 的维度x 和 y 不正确。如果 x 和 y 是 1x9 而不是 1x3，则尺寸是正确的(正确我的意思是可以无误地执行 theta 计算)。我需要更改我的神经网络架构还是可以将 x 和 y 设置为
x = [1;0;1;0;0;0;0;0;0]; y = [1;1;1;0;0;0;0;0;0];以便矩阵乘法计算出来？

更新:

alpha=learning rate (.00001)
m=number of training examples (1)
theta(i) refers to theta1,theta2,theta3

我正在使用 Vectorization of a gradient descent code 中描述的矢量化梯度下降法

更新2:

此 matlab 代码似乎有效:

m = 1; 
alpha = .0000001; 
x = [1;0;1]; 
y = [1; 1; 1]; 
theta1 = [4.7300 3.2800 1.4600; 0 0 0; 4.7300 3.2800 1.4600]; 
theta1 = theta1 - (alpha/m) * (x' * (theta1 * x - y));

是 theta1 = theta1 - (alpha/m) * (x' * (theta1 * x - y)); 向量化梯度下降的正确实现？

我知道这会导致将 theta 矩阵展开为 theta 向量时出现问题，因为维度将不相同，但是对于使用 theta 矩阵而不是 theta 向量，这是否正确？

更新:公式修改自Vectorization of a gradient descent code其中梯度下降给出为:theta = theta - (alpha/m) * (X' * (X*theta-y)); 我将其更改为 theta = theta - (alpha/m) * (x' * (theta * x - y)); ，所以 (X*theta-y); 改为 (theta * x - y) ;

Answer 1

在您引用的 post 中, X 是一个包含 m 行(训练样本数)的矩阵。在您的例子中，m = 1，因此 X 成为行向量。在初始化时，x 是列向量。因此，最简单的更改是设置 x = x' 和 y = y'，这样您的输入和输出都变成行向量。

公式仍然是

theta3 = theta3 - (alpha/m) * (x' * (x*theta3-y)) = 
  9.4458   6.5499   2.9160
  9.3510   6.4850   2.8860
  8.8358   6.1269   2.7270

theta2 和 theta1 的更新规则类似。

此外，误差项 x*theta3-y 始终与输入 x 具有相同的形状；并且原始更新量 x' * (x*theta3-y) 始终具有与 theta3 相同的形状。