python - 多处理嵌套Python循环

Question

为了改进我的代码，它有一个沉重的循环，我需要加速。如何为这样的代码实现多处理？ (a 的典型尺寸为 2，l 的典型尺寸为 10)

for x1 in range(a**l):
    for x2 in range(a**l):
        for x3 in range(a**l):
            output[x1,x2,x3] = HeavyComputationThatIsThreadSafe1(x1,x2,x3)

Answer 1

如果HeavyComputationThatIsThreadSafe1函数仅使用数组而不使用Python对象，我会使用concurrent futures (或 python2 backport )ThreadPoolExecutor 以及 Numba (或 cython )并释放 GIL。否则使用 ProcessPoolExecutor。

参见:

http://numba.pydata.org/numba-doc/latest/user/examples.html#multi-threading

您希望在最外层循环级别并行计算，然后从每个线程/进程产生的 block 中填充输出。这是假设这样做的成本比计算便宜得多，情况应该是这样。