python - scipy.sparse.linalg.spsolve Linux 系统上大型稀疏矩阵的令人惊讶的行为

Question

我正在计算线性系统 Ax=b 的解，其中 A 是一个大的(对于相关的密集矩阵，通常有 200,000 行和列)稀疏矩阵，b 是一个大约 100 列的稀疏矩阵。

当我在 Windows 系统(Python 2.7、scipy 0.14.0)上运行我的代码时，以下命令

from scipy.sparse.linalg import spsolve
...
Temp = spsolve(A.tocsc(),b.tocsc())

运行流畅，需要大约 7 GB 的内存。

在 Linux 系统上使用完全相同的矩阵运行完全相同的代码(相同的 CPU，相同数量的 RAM 内存:64 GB，Linux Mint 17.3, python 2.7, scipy 0.13.3) 需要超过 20 GB 的 ram 内存，它崩溃并显示以下错误消息:

<function umfpack_di_numeric at ...> failed with UMFPACK_ERROR_out_of_memory (参见 1)

因为这个错误是操作系统相关的，我排除了关于矩阵 A 和 b 的任何问题(与提到的一些解决方案相反 in this post )，并且我我正在尝试找到特定于 Linux 的修复程序......但我不知道从哪里开始......有没有人知道发生了什么？为什么这样的问题会特定于 Linux 系统？

请在下面找到完整的错误消息:

Exception in Tkinter callback
Traceback (most recent call last):
File "/usr/lib/python2.7/lib-tk/Tkinter.py", line 1489, in __call__
return self.func(*args)
File "...", line 1533, in mmvConstruction
...
File "...", line 1555, in modes_cb
Temp = spsolve(k[inter][:,inter].tocsc(),k[inter][:,exter].tocsc())
File "/usr/lib/python2.7/dist-packages/scipy/sparse/linalg/dsolve/linsolve.py", line 151, in spsolve
Afactsolve = factorized(A)
File "/usr/lib/python2.7/dist-packages/scipy/sparse/linalg/dsolve/linsolve.py", line 352, in factorized
umf.numeric(A)
File "/usr/lib/python2.7/dist-packages/scipy/sparse/linalg/dsolve/umfpack/umfpack.py", line 450, in numeric
umfStatus[status]))
RuntimeError:<function umfpack_di_numeric at ...> failed with UMFPACK_ERROR_out_of_memory

更新:仍在尝试寻找解决方案...似乎 Linux Mint 上最新版本的 BLAS 很旧:1.8.2。在 Windows 上，我使用 BLAS 1.9.1。使用 test_numpy.py 时此处提供文件:https://gist.github.com/osdf/3842524#file-test_numpy-py我注意到 Linux 和 Windows 之间存在非常显着的差异:Linux:版本 1.8.2，maxint 9223372036854775807，点:0.76 s - Windows:版本 1.9.1，maxint 2147483647，点: 0,037 秒。我正在调查 Linux 上的 OPENBLAS 是否可以解决这个问题...

更新 2: 我意识到问题可能与硬件有关。事实上，一台旧 PC，在相同的 Linux Mint 发行版(Rosa 17.3)上具有完全相同的库，可以提供更令人满意的结果。第一次更新中提到的基准测试在这台旧 PC 上给出:Linux:版本 1.8.2，maxint 9223372036854775807，点:0,054 秒。

Answer 1

好吧，经过彻底调查，我现在确信我遇到的问题与 Linux Mint (Rosa 17.3) 可能未针对最新处理器进行优化这一事实有关。

我在帖子更新中提到的比较强调了软件安装是正确的。然后我在我的 PC 上安装了 Fedora 23，按顺序安装:

• 图书馆
• python
• python-scipy

然后我用完全相同的矩阵运行完全相同的代码，没有任何问题:RAM 消耗限制在大约 7 GB，类似于在 Windows 系统上观察到的情况。