python多处理谷歌计算引擎

Question

我有一个 python 脚本，它通过多处理在我的旧四核笔记本电脑上运行。模拟无法并行化，我只是在不同的内核上运行它的不同实例。

我正在考虑在谷歌计算引擎上租一些更强大的 cpus。我是否能够使用相同的 python 多处理脚本，只是有更多可用内核？

脚本只是调用一个池，然后多次 apply_async

Answer 1

多处理在 Google 的 VM 上的工作方式与在本地机器上的工作方式相同(大致......)。为了使用盒子上所有可用的核心，不要将 processes 参数传递给 multiprocesing.Pool，例如:

pool = multiprocessing.Pool(processes=None)

这将使 Python 创建一个 Pool，其中包含 multiprocessing.cpu_count() 个进程，cpu_count 通常是许多核心。