将 Ubuntu 从 13.04 更新到 13.10 后，Python Numpy.dot 运行速度慢了 20 倍

Question

正如标题所暗示的那样，numpy.dot(我认为 numpy 是通用的)在更新我的系统后执行速度要慢得多。我要比较的示例代码是:

from numpy import *
import time
A=random.random((1000,1000))
B=random.random((1000,1000))
st=time.time();dot(A,B);end=time.time();print end-st

以下代码在我的另一台计算机上耗时约 0.09 秒(有问题的计算机过去运行速度与另一台计算机一样快)，但代码在有问题的计算机上耗时约 0.26 秒。

这是我解决这个问题的尝试。我的第一个猜测是，1:ATLAS 没有连接到 numpy。因此，我使用 synaptic、libatlas3-bas、libatlas-doc、libatlas-dev、libatlas3gf-bas、libatlas-bas-dev 安装了 atlas 包。

安装后，我通过键入检查 numpy 是否链接到 atlas

import numpy.distutils.system_info as sysinfo
sysinfo.get_into('atlas')

返回信息如下:

ATLAS version 3.10.1 built by buildd on Sat Jul 27 19:04:50 UTC 2013:
   UNAME    : Linux roseapple 3.2.0-37-generic #58-Ubuntu SMP Thu Jan 24 15:28:10 UTC 2013 x86_64 x86_64 x86_64 GNU/Linux

   INSTFLG  : -1 0 -a 1 -l 1
   ARCHDEFS : -DATL_OS_Linux -DATL_ARCH_x86SSE2 -DATL_CPUMHZ=1596 -DATL_SSE2 -DATL_SSE1 -DATL_USE64BITS -DATL_GAS_x8664
   F2CDEFS  : -DAdd_ -DF77_INTEGER=int -DStringSunStyle
   CACHEEDGE: 1048576
   F77      : /usr/bin/x86_64-linux-gnu-gfortran-4.8, version GNU Fortran (Ubuntu/Linaro 4.8.1-8ubuntu1) 4.8.1
   F77FLAGS : -fomit-frame-pointer -mfpmath=sse -O2 -msse2 -fPIC -m64
   SMC      : /usr/bin/c99-gcc, version gcc (Ubuntu/Linaro 4.8.1-8ubuntu1) 4.8.1
   SMCFLAGS : -fomit-frame-pointer -mfpmath=sse -O2 -msse2 -fPIC -m64
   SKC      : /usr/bin/c99-gcc, version gcc (Ubuntu/Linaro 4.8.1-8ubuntu1) 4.8.1
   SKCFLAGS : -fomit-frame-pointer -mfpmath=sse -O2 -msse2 -fPIC -m64
Out[12]: 
{'define_macros': [('ATLAS_INFO', '"\\"3.10.1\\""')],
 'include_dirs': ['/usr/include/atlas'],
 'language': 'f77',
 'libraries': ['lapack', 'f77blas', 'cblas', 'atlas'],
 'library_dirs': ['/usr/lib/atlas-base/atlas', '/usr/lib/atlas-base']}

所以，我假设它是链接的。我还进入了 numpy/core/路径并输入了

$ldd _dotblas.so 

输出是

linux-vdso.so.1 =>  (0x00007fff16ffa000)
libcblas.so.3 => /usr/lib/libcblas.so.3 (0x00007fa913908000)
libpthread.so.0 => /lib/x86_64-linux-gnu/libpthread.so.0 (0x00007fa9136eb000)
libc.so.6 => /lib/x86_64-linux-gnu/libc.so.6 (0x00007fa913322000)
libatlas.so.3 => /usr/lib/libatlas.so.3 (0x00007fa912d8f000)
libgfortran.so.3 => /usr/lib/x86_64-linux-gnu/libgfortran.so.3 (0x00007fa912a77000)
libgcc_s.so.1 => /lib/x86_64-linux-gnu/libgcc_s.so.1 (0x00007fa912860000)
libm.so.6 => /lib/x86_64-linux-gnu/libm.so.6 (0x00007fa91255c000)
/lib64/ld-linux-x86-64.so.2 (0x00007fa913d4f000)
libquadmath.so.0 => /usr/lib/x86_64-linux-gnu/libquadmath.so.0 (0x00007fa912320000)

然后，为了确保 libcblas.so.3 链接到 ATLAS，我输入了

$ /usr/sbin/update-alternatives --config libblas.so.3
There are 4 choices for the alternative libblas.so.3 (providing /usr/lib/libblas.so.3).

  Selection    Path                                     Priority   Status
------------------------------------------------------------
  0            /usr/lib/openblas-base/libopenblas.so.0   40        auto mode
* 1            /usr/lib/atlas-base/atlas/libblas.so.3    35        manual mode
  2            /usr/lib/libblas/libblas.so.3             10        manual mode
  3            /usr/lib/openblas-base/libopenblas.so     30        manual mode
  4            /usr/lib/openblas-base/libopenblas.so.0   40        manual mode

Press enter to keep the current choice[*], or type selection number: 1

以下步骤没有解决我的问题...

1. 我意识到我的 CPU 节流开启了，当 CPU 节流开启时 ATLAS 无法正常工作。所以，我使用 rcconf 将其关闭，并像上面那样重新安装了 Atlas 并重新安装了 Numpy...但它并没有解决问题...

2. 现在我正在运行 python 2.7.5+，所以我也尝试重新安装它.. 没有解决问题。

3. 我检查了我的内存..

            total       used       free     shared    buffers     cached
   

   内存:5959 2345 3614 0 86 730

   -/+ 缓冲区/缓存:1528 4431

   交换:6133 0 6133

而且我的内存是空闲的..我的 matlab 代码运行速度和以前一样快..所以我不认为这是内存问题..

有人可以帮忙吗？似乎 numpy 的线性代数包很慢......现在，它延迟了我的模拟很多，所以我无法真正运行我的代码。非常感谢您!让我知道我的问题是否有任何混淆。!

Answer 1

当您说“并重新安装 Numpy”时，您使用的是 pip 还是 apt-get/synaptic？

可通过 apt-get install python-numpy 获得的 Ubuntu(或 Debian)打包版本的 NumPy 是预编译的。另一方面，在 NumPy 源目录中使用 pip install numpy 或 python setup.py 安装 NumPy 会使用可用的编译器从源构建 NumPy。

然后您可能更喜欢在自己的计算机上使用 ATLAS 编译 NumPy。 ATLAS 将使用您计算机的特性优化 NumPy 库(有效地需要关闭 CPU 节流)。

apt-get install -y python-pip python-dev build-essential
pip install -U cython

apt-get install -y gcc gfortran libatlas-base-dev liblapack-dev
pip install numpy

您不妨阅读 ATLAS installation guide或 instructions to build NumPy and SciPy from source on Linux

这可能是您已经完成的，但其他人可能会发现它有用!