python - Scipy 稀疏特征求解器 : MemoryError after multiple passes through loop without anything new being written during loop

Question

我正在使用 Python + Scipy 将稀疏矩阵对角化，在对角线上有随机元素；特别是，我需要频谱中间的特征值。我编写的代码几个月来都运行良好，但现在我正在查看更大的矩阵并遇到“MemoryError”。令我感到困惑/让我发疯的是，错误仅在构建随机矩阵并将其对角化的几次迭代(即 9 次)后出现，但我看不到我的代码以任何方式在一次迭代中将任何额外内容存储在内存中到下一个，所以看不出我的代码如何在第 9 次迭代期间失败而不是第 1 次迭代。

以下是详细信息(如果我遗漏了任何内容，我提前道歉，我是新来在此网站上发帖的):

我构造的每个矩阵都是 16000x16000，有 15x16000 个非零项。当我查看 4000x4000 大小的矩阵时，一切都运行良好。我的大部分代码是

#Initialization
#...

for i in range(dim):
    for n in range(N):
        digit = (i % 2**(n+1)) / 2**n
        index = (i % 2**n) + ((digit + 1) % 2)*(2**n) + (i / 2**(n+1))*(2**(n+1))
        row[dim + N*i + n] = index
        col[dim + N*i + n] = i
        dat[dim + N*i + n] = -G

e_list = open(e_list_name + "_%03dk_%010ds" % (num_states, int(start_time)), "w")
e_log = open(e_log_name + "_%03dk_%010ds" % (num_states, int(start_time)), "w")

for t in range(num_itr): #Begin iterations
    dat[0:dim] = math.sqrt(N/2.0)*np.random.randn(dim) #Get new diagonal elements
    H = sparse.csr_matrix((dat, (row, col))) #Construct new matrix
    vals = sparse.linalg.eigsh(H, k = num_states + 2, sigma = target_energy, which = 'LM', return_eigenvectors = False) #Get new eigenvalues
    vals = np.sort(vals)

    vals.tofile(e_list)
    e_log.write("Iter %d complete\n" % (t+1))

    e_list.flush()
    e_log.flush()

e_list.close()
e_log.close()

我一直将 num_itr 设置为 100。在第 9 次通过 num_itr 循环期间(如已写入 e_log 的 8 行所示)，程序崩溃并显示错误消息

Can't expand MemType 0: jcol 7438

Traceback (most recent call last):

   File "/usr/lusers/clb37/QREM_Energy_Gatherer.py", line 55, in <module>

           vals = sparse.linalg.eigsh(H, k = num_states + 2, sigma = target_energy, which = 'LM', return_eigenvectors = False)

   File "/usr/lusers/clb37/Enthought/Canopy_64bit/User/lib/python2.7/site-packages/scipy/sparse/linalg/eigen/arpack/arpack.py", line 1524, in eigsh

           symmetric=True, tol=tol)

   File "/usr/lusers/clb37/Enthought/Canopy_64bit/User/lib/python2.7/site-packages/scipy/sparse/linalg/eigen/arpack/arpack.py", line 1030, in get_OPinv_matvec

           return SpLuInv(A.tocsc()).matvec

   File "/usr/lusers/clb37/Enthought/Canopy_64bit/User/lib/python2.7/site-packages/scipy/sparse/linalg/eigen/arpack/arpack.py", line 898, in __init__

           self.M_lu = splu(M)

   File "/usr/lusers/clb37/Enthought/Canopy_64bit/User/lib/python2.7/site-packages/scipy/sparse/linalg/dsolve/linsolve.py", line 242, in splu

           ilu=False, options=_options)

MemoryError

果然，每次我在我的机器上运行该程序时，该程序都会在第 9 次通过该循环时失败，而当我尝试在具有更多内存的机器上运行此代码时，该程序会在崩溃前经历更多迭代，所以它看起来电脑真的内存不足了。如果仅此而已，那很好，但我不明白的是为什么程序在第一次迭代期间没有崩溃。在 num_itr 循环的 8 行中，我没有看到任何点将某些内容写入内存，而不会在接下来的迭代中被覆盖。我使用 Heapy 的 heap() 函数来查看我的内存使用情况，它在每次运行时都打印出“Total size = 11715240 bytes”。

我觉得这里有一些我不知道的基本知识，要么是我写作中的一些我不知道要查找的错误，要么是关于如何处理内存的一些细节。任何人都可以向我解释为什么这段代码在第 9 次通过 num_itr 循环而不是第 1 次时失败吗？

Answer 1

好的，这似乎可以在 Scipy 0.14.0 上重现。

显然可以通过添加来解决这个问题

import gc; gc.collect()

在循环内强制 Python 的循环垃圾收集器运行。

问题似乎是在 scipy.sparse.eigh 的某处有一个循环引用循环，其脉络是:

class Foo(object):
    pass
a = Foo()
b = Foo()
a.spam = b
b.spam = a
del a, b   # <- but a, b still refer to each other and are not dead

这在原则上仍然是完全可行的:尽管 Python 的引用计数没有检测到这种循环垃圾，但会定期运行一个集合来收集这些对象。但是，如果每个对象在内存中都非常大(例如，大的 Numpy 数组)，则周期性运行的频率太低，并且您会在下一次循环垃圾收集运行完成之前耗尽内存。

因此，解决方法是在您知道有大量垃圾需要收集时强制运行 GC。更好的解决方法是更改​​ scipy.sparse.eigh，以便首先不会生成此类循环垃圾。