python - 串行转并行转多机

Question

我连续运行以下代码来请求一堆网址:

# takes 5 hours
data = []
for url in urls:
    data.append(request_url(url))

然后我将其转换为使用多处理并行运行:

# takes 50 minutes
p = Pool(20)
data = p.map(request_url, urls)

如果我想提高速度，我将如何将该过程分布到多个服务器上，什么是一个好的方法？

Answer 1

您可以使用 pathos (及其姊妹包 pyina)来帮助您准确地确定如何并行分发代码。

pathos 为跨线程、多处理和套接字的并行处理提供统一的 API。 API 提供了 Pool 对象，这些对象具有阻塞、非阻塞迭代以及异步 map 和 pipe 方法。 pyina 将此 API 扩展到 MPI 以及 torque 和 slurm 等调度程序。通常，您可以嵌套这些构造，以便拥有异构和分层的并行分布式计算。

您根本不需要修改代码即可使用 pathos(和 pyina)。

SO 上有一些这样的例子，包括: Python Multiprocessing with Distributed Cluster Using Pathos和 Python Multiprocessing with Distributed Cluster

以及在 pathos、pyina 和 mystic 中找到的 examples 目录中 - 在这里找到: https://github.com/uqfoundation