python - 使用多处理模块进行集群计算

Question

我对使用计算机集群运行 Python 程序很感兴趣。我过去一直在使用 Python MPI 接口(interface)，但由于编译/安装这些接口(interface)的困难，我更喜欢使用内置模块的解决方案，例如 Python 的 multiprocessing模块。

我真正想做的只是设置一个multiprocessing.Pool跨越整个计算机集群的实例，并运行 Pool.map(...) .这是可能/容易做到的事情吗？

如果这是不可能的，我希望至少能够开始Process来自中央脚本的任何节点上的实例，每个节点具有不同的参数。

Answer 1

如果集群计算是指分布式内存系统(多节点而不是 SMP)，那么 Python 的多处理可能不是一个合适的选择。它可以产生多个进程，但它们仍将绑定(bind)在单个节点内。

您将需要一个框架来处理跨多个节点的进程生成并提供处理器之间的通信机制。 (几乎是 MPI 所做的)。

参见 Parallel Processing on the Python wiki 上的页面获取有助于集群计算的框架列表。

从列表中，pp , jug , pyro和 celery看起来是明智的选择，尽管我不能亲自担保任何选择，因为我对它们中的任何一个都没有经验(我主要使用 MPI)。

如果易于安装/使用很重要，我将从探索 jug 开始。 .它是 easy to install , supports common batch cluster systems , 看起来 well documented .