python - 如何在 Python 中并行化列表理解计算？

Question

列表解析和映射计算都应该(至少在理论上)相对容易并行化:列表解析中的每个计算都可以独立于所有其他元素的计算来完成。例如在表达式中

[ x*x for x in range(1000) ]

每个 x*x 计算可以(至少在理论上)并行完成。

我的问题是:是否有任何 Python-Module/Python-Implementation/Python Programming-Trick 来并行化列表理解计算(为了使用所有 16/32/... 内核或将计算分布在计算机上-网格或云上)？

Answer 1

正如 Ken 所说，它不能，但使用 2.6 的 multiprocessing模块，并行计算非常容易。

import multiprocessing

try:
    cpus = multiprocessing.cpu_count()
except NotImplementedError:
    cpus = 2   # arbitrary default


def square(n):
    return n * n

pool = multiprocessing.Pool(processes=cpus)
print(pool.map(square, range(1000)))

documentation 中也有示例展示了如何使用 Managers 来做到这一点，它也应该允许分布式计算。