python - 许多大型 scipy 稀疏矩阵的内存高效存储

Question

我需要存储大约 50.000 个 scipy 稀疏 csr 矩阵，其中每个矩阵都是一个长度为 370 万的向量:

x = scipy.sparse.csr_matrix((3.7Mill,1))

我目前将它们存储在一个简单的字典中，因为我还需要知道每个向量对应的键(在本例中键只是一个简单的整数)。

现在的问题是需要大量的内存。有没有一些更有效的方法？

Answer 1

尝试使用Lazy数据结构。

例如:

def lazy(func):
    def lazyfunc(*args, **kwargs):
        temp = lambda x : func(*args, **kwargs)
        temp.__name__ = "lazy-" + func.__name__
        return temp
    return lazyfunc

"""
Add some simple functions
"""
def add(x, y):
    print "Not lazy"
    return x + y

@lazy
def add_lazy(x, y):
    print "lazy!"
    return x + y

用法:

>>> add(1, 2)
Not lazy
3
$ add_lazy(1, 2)
<function lazy-add_lazy at 0x021E9470>
>>> myval = add_lazy(1, 2)
>>> myval()
lazy!
3

看:

• http://finderweb.com/blog/lazy_dict/
• http://www.pages.drexel.edu/~kmk592/rants/lazy-python/index.html