python - 如何使用 dask 应用平滑过滤器

Question

我有一个二维数组，我想用一个内核做一个二维卷积，例如一个简单的平面方阵。

例如:http://nbviewer.jupyter.org/gist/zonca/f0d819048ef7318eff944396b71af1c4

有没有办法用 dask 运行这个多线程？

Answer 1

map_overlap方法可以做你想做的。它允许您将函数映射到数组的 block 上，其中这些 block 已经用附近 block 的重叠区域进行了预缓冲。

类似下面的内容可能是一个好的开始:

In [1]: import numpy as np
In [2]: x = np.random.normal(10, 1, size=(1000, 1000))

In [3]: from scipy.signal import convolve2d

In [4]: import dask.array as da
In [5]: d = da.from_array(x, chunks=(500, 500))

In [6]: filt = np.ones((8, 8))

In [7]: d.map_overlap(convolve2d, in2=filt, depth=8)
Out[7]: dask.array<trim-de..., shape=(1000, 1000), dtype=None, chunksize=(500, 500)>

但请注意，您提供的过滤器既平滑又放大。您可能还需要尝试使用 convolve2d 中的修剪。