python - 如何在 Python 中保存大型(热门)词典？

Question

我的字典将包含数千个键，每个键都有一个 1000x1000 的 numpy 数组作为值。我不需要文件是人类可读的。小尺寸和快速加载时间更为重要。

首先我尝试了 savemat ，但我遇到了 problems . Pickle导致一个巨大的文件。我假设 csv 也是如此。我读过推荐使用 json 的帖子(可读文本可能很大)或 db (假设很复杂)。你会为我的案例推荐什么？

Answer 1

如果你有一个字典，其中的键是字符串，值是数组，就像这样:

>>> import numpy
>>> arrs = {'a': numpy.array([1,2]),
            'b': numpy.array([3,4]),
            'c': numpy.array([5,6])}

您可以使用 numpy.savez通过 key 将它们保存到压缩文件中:

>>> numpy.savez('file.npz', **arrs)

加载它:

>>> npzfile = numpy.load('file.npz')
>>> npzfile
<numpy.lib.npyio.NpzFile object at 0x1fa7610>
>>> npzfile['a']
array([1, 2])
>>> npzfile['b']
array([3, 4])
>>> npzfile['c']
array([5, 6])