python - Python 中的并行性

Question

在 Python 中实现并行性有哪些选择？我想对一些非常大的栅格执行一堆 CPU 绑定(bind)计算，并希望将它们并行化。来自 C 背景，我熟悉三种并行处理方法:

1. 消息传递过程，可能分布在一个集群中，例如MPI.
2. 显式共享内存并行，使用 pthreads 或 fork()、pipe() 等。人
3. 隐式共享内存并行，使用 OpenMP。

决定使用的方法是一种权衡。

在 Python 中，有哪些方法可用，它们的特点是什么？是否有可集群的 MPI 克隆？实现共享内存并行的首选方法是什么？我听说过关于 GIL 问题的引用，以及对 tasklet 的引用。

简而言之，在选择 Python 中的不同并行化策略之前，我需要了解哪些信息？

Answer 1

通常，您描述的是 CPU 绑定(bind)计算。这不是 Python 的强项。从历史上看，多处理也不是。

主流 Python 解释器中的线程被可怕的全局锁所统治。新multiprocessing API 可以解决这个问题，并通过管道和队列等提供工作池抽象。

您可以在 C 中编写性能关键代码或 Cython ，并使用 Python 进行粘合。