python - 就地修改大于内存的Dask数组

Question

我有一个 dask 数组 X，大约是。 3500 x 700000。每一行都有缺失值，我需要根据该行的平均值进行插补。

目前，该数组存储为 dask 数组，并且我有一个可以执行插补的延迟函数。然而，当我使用计算方法时，内存被填满，因为它似乎试图给我留下一个 numpy 数组。

有没有一种方法可以在数组上应用此插补，以便最终将插补数组作为内存不足的 dask 数组？

Answer 1

当您将延迟函数应用于 dask 数组时，它必须将您的数组转换为单个 numpy 数组。请参阅http://dask.pydata.org/en/latest/delayed-best-practices.html#don-t-call-dask-delayed-on-other-dask-collections

您可能需要考虑对数组进行分块，以便行位于单个 block 中，然后使用 map_blocks。