python - numpy loadtxt 增量加载以保留内存？

Question

这个问题已经有答案了:

numpy Loadtxt function seems to be consuming too much memory (2 个回答)

已关闭 3 年前。

我有一个numpy数组相当大，大约有千兆字节左右。计算进入数组的值需要很长时间，因此一旦构建完毕，我就使用 np.savetxt 对其进行序列化。 。但是，从 float 组(每个 64 位)到包含表示这些浮点的字符串的文件(8 位*len(float_2_string_conversion) > 64 位)的转换会创建一个比原始数组大得多的文件。我想也许，np.loadtxt加载所有字符串内容，然后一次性转换为 float 。因此，内存占用为np.loadtxt明显大于原始数组。

无论如何，我无法将数组加载回内存，因为 np.loadtxt不太记性礼貌。有没有方便的方法来加载 numpy -将 csv 创建回内存，这样内存就不是那么大了？

注:this question似乎提出了这个确切的问题，但似乎没有任何解决方案，只是承认这是一个问题。

Answer 1

如果您使用 np.load()，您可以设置 memmap 参数。我没有使用过它，不能保证它的性能。

https://docs.scipy.org/doc/numpy/reference/generated/numpy.load.html?highlight=memmap