gpt4 book ai didi

python - 比 numpy.where 更节省内存的选项?

转载 作者:太空宇宙 更新时间:2023-11-04 04:18:46 25 4
gpt4 key购买 nike

我有一个大数组(几百万个元素),我需要根据几个不同的标准切出一小部分(几百个)。我目前正在使用 np.where,按照以下行:

for threshold in np.arange(0,1,.1):
x=np.random.random(5000000)
y=np.random.random(5000000)
z=np.random.random(5000000)
inds=np.where((x < threshold) & (y > threshold) & (z > threshold) & (z < threshold+0.1))

DoSomeJunk(a[inds], b[inds], c[inds])

然后使用 ipts 从各种数组中提取正确的点。但是,我在那条 np.where 行上得到了 MemoryError。我在其他一些相关帖子中看到 np.where 可能是内存占用和复制数据。

里面有多个&是不是意味着数据被复制了多次?有没有一种更有效的方式来切片数据,这种方式占用的内存更少,同时还保留了我想要的索引列表,以便以后可以在多个地方使用同一个切片?

请注意,我发布的这个示例实际上并没有生成错误,但结构与我所拥有的类似。

最佳答案

在每个条件下,您都将创建一个临时 bool 数组,其大小与 xyz 相同。要对此进行优化,您可以迭代创建掩码:

for threshold in np.arange(0,1,.1):
x=np.random.random(5000000)
y=np.random.random(5000000)
z=np.random.random(5000000)
inds = x < threshold
inds &= y > threshold
inds &= z > threshold
inds &= z < threshold+0.1

DoSomeJunk(a[inds], b[inds], c[inds])

对于此示例,这会将内存使用量从 160 MB 减少到 40 MB。

关于python - 比 numpy.where 更节省内存的选项?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/54909182/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com