performance - Fortran/Python/MATLAB 之间 MKL 矩阵乘法性能的特殊差异

Question

我用三种语言编写了一个比较矩阵乘法性能的简单基准测试 - Fortran(使用 Intel Parallel Studio 2015，使用 ifort 开关编译:/O3/Qopt-prefetch=2/Qopt-matmul/Qmkl:parallel，这用对英特尔 MKL 库的调用替换 MatMul 调用)、Python(使用当前的 Anaconda 版本，包括 Anaconda Accelerate，它提供与英特尔 MKL 库链接的 NumPy 1.9.2)和 MATLAB R2015a(再次使用英特尔 MKL 库)。

鉴于所有三个实现如何利用相同的英特尔 MKL 库进行矩阵乘法，我希望结果几乎相同，尤其是对于大到足以使函数调用开销可以忽略不计的矩阵。然而，事实远非如此，虽然 MATLAB 和 Python 显示出几乎相同的性能，但 Fortran 的性能要高出 2-3 倍。我想了解原因。

这是我用于 Fortran 版本的代码:

program MatMulTest

implicit none

integer, parameter :: N = 1024
integer :: i, j, cr, cm
real*8 :: t0, t1, rate
real*8 :: A(N,N), B(N,N), C(N,N)    

call random_seed()
call random_number(A)
call random_number(B)

! First initialize the system_clock
CALL system_clock(count_rate=cr)
CALL system_clock(count_max=cm)
rate = real(cr)
WRITE(*,*) "system_clock rate: ", rate

call cpu_time(t0)
do i = 1, 100, 1
    C=MatMul(A,B)                
end do
call cpu_time(t1)

write(unit=*, fmt="(a24,f10.5,a2)") "Average time spent: ", (t1-t0), "ms"
write(unit=*, fmt="(a24,f10.3)") "First element of C: ", C(1,1)

end program MatMulTest

请注意，如果您的系统时钟速率不像我的情况那样是 10000，则您需要相应地修改计时计算以产生毫秒数。

Python 代码:

import time
import numpy as np

def main(N):
    A = np.random.rand(N,N)
    B = np.random.rand(N,N)
    for i in range(100):
        C = np.dot(A,B)
    print C[0,0]

if __name__ == "__main__":
    N = 1024
    t0 = time.clock()
    main(N)
    t1 = time.clock()
    print "Time elapsed: " + str((t1-t0)*10) + " ms"

最后是 MATLAB 片段:

N=1024;
A=rand(N,N); B=rand(N,N);
tic;
for i=1:100
     C=A*B;
end
t=toc;
disp(['Time elapsed: ', num2str(t*10), ' milliseconds'])

在我的系统上，结果如下:

Fortran: 38.08 ms
Python: 104.29 ms
MATLAB: 97.36 ms

在所有三种情况下，CPU 使用率都无法区分(在计算期间启用 HT 的 i7-920D0 处理器上使用稳定的 47-49%)。此外，对于任意大小的矩阵，相对性能大致相同，但对于非常小的矩阵(N<80 左右)，在 Fortran 中手动禁用并行化是有用的。

这里的差异是否有确定的原因？难道我做错了什么？我预计至少对于较大的矩阵，Fortran 在这种情况下不会有任何有意义的优势。

Answer 1

这里有两个问题:

1. 在 Python 中，您对随机初始化和计算进行计时，而在 Fortran 和 MATLAB 中则不需要
2. 在 Fortran 中，您在测量 Python 和 MATLAB 中耗时时测量 CPU 时间。由于您注意到 CPU 使用率约为 46%，这可能只是造成差异的原因。

只需修复这两个问题并重试...为此，您可以考虑使用 date_and_time() 而不是 cpu_time()。