gpt4 book ai didi

python - 就地修改大于内存的Dask数组

转载 作者:行者123 更新时间:2023-12-01 09:03:46 25 4
gpt4 key购买 nike

我有一个 dask 数组 X,大约是。 3500 x 700000。每一行都有缺失值,我需要根据该行的平均值进行插补。

目前,该数组存储为 dask 数组,并且我有一个可以执行插补的延迟函数。然而,当我使用计算方法时,内存被填满,因为它似乎试图给我留下一个 numpy 数组。

有没有一种方法可以在数组上应用此插补,以便最终将插补数组作为内存不足的 dask 数组?

最佳答案

当您将延迟函数应用于 dask 数组时,它必须将您的数组转换为单个 numpy 数组。请参阅http://dask.pydata.org/en/latest/delayed-best-practices.html#don-t-call-dask-delayed-on-other-dask-collections

您可能需要考虑对数组进行分块,以便行位于单个 block 中,然后使用 map_blocks

关于python - 就地修改大于内存的Dask数组,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/52244443/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com