gpt4 book ai didi

python - 大数组在 numpy 中创建 MemoryError

转载 作者:行者123 更新时间:2023-12-01 09:31:26 25 4
gpt4 key购买 nike

内存错误问题有解决办法吗?

内存是8GB,我想完成广播操作,但是成本确实很大。

给定条件:

interdata = data[:, None] - data[None]

数据形状为[1000, 32, 32] ,我想要 interdata 形状为 [1000, 1000, 32, 32] ,这对于我的内存来说似乎太大了。

有没有办法解决这个困难?

最佳答案

Is there a method to solve the difficulty?

当然,但需要付出代价。 。 .

numpy 可以使用 .memmap() 编辑的资源,其中磁盘容量是您的下一个容量“上限”。

然而,对于 SSD 设备托管的 .memmap() 存储,这将使您进入 [us] 单位或 >~1E+1 [ms] 对于旋转驱动器,请记住这一点。

如果这是 Not Acceptable ,现在有相当昂贵的 COTS 平台提供多 TB 容量或 RAM,其中 [ns]-规则。

关于python - 大数组在 numpy 中创建 MemoryError,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/49938020/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com