python - dask 中不支持项目分配的解决方法

Question

我正在尝试将我的代码库从 numpy 数组转换为 dask，因为我的 numpy 数组超出了 Memory Error限制。但是，我发现dask arrays中还没有实现可变数组的功能。所以我得到
NotImplementedError: Item assignment with <class 'tuple'> not supported
我的下面的代码有任何解决方法吗-

for i, mask in enumerate(masks):
    bounds = find_boundaries(mask, mode='inner')
    X2, Y2 = np.nonzero(bounds)
    X2 = da.from_array(X2, 'auto')
    Y2 = da.from_array(Y2, 'auto')
    xSum = (X2.reshape(-1, 1) - X1.reshape(1, -1)) ** 2
    ySum = (Y2.reshape(-1, 1) - Y1.reshape(1, -1)) ** 2
    #Failing on below line
    distMap[:,i] = da.sqrt(xSum + ySum).min(axis=0)

    break

我还尝试在 dask 中计算所有其他计算并使用 distMap作为 numpy 数组，但仍然得到 Memory Error 。欢迎任何解决方法。

Answer 1

也许您可以构造许多 dask 数组，然后使用 da.concatenate 或 da.stack 将它们合并到单个 dask 数组中？