python - 序列化大型 scipy 稀疏矩阵的最佳方法是什么？

Question

我有一个很大的 scipy 稀疏矩阵，它占用了我总系统内存的 90% 以上。我想将它保存到磁盘，因为构建矩阵需要几个小时...

我试过 cPickle，但这会导致内存大爆炸......

import numpy as np
from scipy.sparse import lil_matrix
import cPickle

dim = 10**8

M = lil_matrix((dim, dim), dtype=np.float)

with open(filename, 'wb') as f:
    cpickle.dump(M, f)  # leads to a major memory explosion, presumably there is lots of copying

虽然 HDF5 不喜欢数据类型:TypeError: Object dtype dtype('O') has no native HDF5 equivalent

那我该怎么办呢？

Answer 1

不幸的是，Pickling 的内存效率非常低。我建议访问稀疏矩阵的底层数据数组属性，并以高效的方式存储这些属性，例如 hdf5。从行/列/数据向量的三元组重建稀疏矩阵应该很容易。