matlab - 关于何时在 Matlab 中使用矩阵乘法、sum() 或 for 循环的良好经验法则？

Question

我正在尝试开发用于将方程式转换为代码 的通用启发式方法。这个特定的问题解决了如何在 Matlab 中实现一个带有求和函数的方程。

使用 sum() 与矩阵乘法的示例:

我实现了这个等式，并认为我需要使用 sum() 函数:

J = 1/(2*m) * sum( (X*theta - y).^2 );

然后我实现了这个类似的等式，而不需要使用 sum() 函数!

theta = theta - (alpha/m) * ((X*theta - y)'*X)';

地点:

X: 100x2 (training input plus a 'ones' vector)
y: 100x1 (training output) 
theta:  2x1 (parameters)
m: 100 (length of y)
alpha: 0.01 (learning rate) 

Matlab的矩阵乘法“处理”求和时的原则是什么？

谢谢!

Answer 1

始终在线性代数上下文中使用矩阵乘法或任何处理矩阵或向量的方法。具体来说，如果您可以使用线性代数(矩阵的加法、减法、乘法等的组合)来计算您需要计算的任何东西，那么就去做吧。创建 MATLAB 的原因是尽可能快地使用线性代数执行运算。使用 sum 肯定会更慢。例如，看看这篇文章:fast matrix multiplication in Matlab

这篇文章还提供了见解:Matlab matrix multiplication speed . MATLAB 还执行此多线程操作，并针对多核进行了大量优化。

---

如果您想进行测试，让我们来处理更简单的情况(等式 1)，我们可以看到您可以使用 sum 或矩阵乘法来计算此数量。您还可以使用矩阵乘法计算 J:

d = X*theta - y;
J = 1/(2*m)*(d.'*d);

上面使用点积的定义来计算平方差之和，可以使用矩阵乘法计算，其中 X*theta - y 被视为 m x 1 矩阵。综上所述，您具体计算的是线性回归的成本函数，该成本函数将通过梯度下降最小化。让我们为 theta 创建一个相当大的参数向量，使其为 100 x 1，并为 10000000 x 100 创建一个数据矩阵，其中我们有 100 万个数据点和 100 个参数。我的机器上有很多 RAM，因此您可能无法运行此测试。我还将把这些都初始化为随机数并设置种子以确保可重复性。让我们使用 timeit看看这两者需要多长时间。这是我写的测试函数:

function test_grad

rng(123);
theta = rand(100,1);
X = rand(1e7, 100);
y = rand(1e7, 1);
m = size(X, 1);

    function test1
    out = 1/(2*m) * sum( (X*theta - y).^2 );
    end

    function test2
    d = X*theta - y;
    out = 1/(2*m)*(d.'*d);
    end

t1 = timeit(@test1);
t2 = timeit(@test2);
fprintf('The timing for sum: %f seconds\n', t1);
fprintf('The timing for matrix multiplication: %f seconds\n', t2);
end

当您在 MATLAB 中运行此函数时，它会在使用 sum 和使用矩阵乘法之间进行大量测试。

这是我运行此函数时得到的结果。我在配备 i7 Intel Core 2.3 GHz CPU 的 MacBook Pro 上有 16 GB RAM:

>> test_grad
The timing for sum: 0.594337 seconds
The timing for matrix multiplication: 0.393643 seconds

如您所见，每次使用 timeit 运行矩阵乘法(至少在我的机器上)平均有 0.2 秒的差异。

---

tl;dr:如果您可以使用矩阵乘法，那就去做吧。这是您运行代码的最快速度。