gpt4 book ai didi

python - numpy loadtxt 增量加载以保留内存?

转载 作者:行者123 更新时间:2023-12-01 06:23:43 25 4
gpt4 key购买 nike

我有一个numpy数组相当大,大约有千兆字节左右。计算进入数组的值需要很长时间,因此一旦构建完毕,我就使用 np.savetxt 对其进行序列化。 。但是,从 float 组(每个 64 位)到包含表示这些浮点的字符串的文件(8 位*len(float_2_string_conversion) > 64 位)的转换会创建一个比原始数组大得多的文件。我想也许,np.loadtxt加载所有字符串内容,然后一次性转换为 float 。因此,内存占用为np.loadtxt明显大于原始数组。

无论如何,我无法将数组加载回内存,因为 np.loadtxt不太记性礼貌。有没有方便的方法来加载 numpy -将 csv 创建回内存,这样内存就不是那么大了?

注:this question似乎提出了这个确切的问题,但似乎没有任何解决方案,只是承认这是一个问题。

最佳答案

如果您使用 np.load(),您可以设置 memmap 参数。我没有使用过它,不能保证它的性能。

https://docs.scipy.org/doc/numpy/reference/generated/numpy.load.html?highlight=memmap

关于python - numpy loadtxt 增量加载以保留内存?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/60267280/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com