python - 如何访问所有计算机内核以在 python 脚本中进行计算？

Question

我有一个 python 脚本，它必须对大型数据集进行许多排列，对每个排列进行评分，并仅保留得分最高的排列。数据集如此之大，以至于该脚本需要将近 3 天的时间才能运行。

当我在 Windows 中检查我的系统资源时，只有 12% 的 CPU 被使用，8 个内核中只有 4 个在工作。即使我将 python.exe 进程置于最高优先级，这也不会改变。

我的假设是将更多的 CPU 使用率专用于运行脚本可以使其运行得更快，但我的最终目标是将运行时间至少减少一半。是否有 python 模块或一些代码可以帮助我做到这一点？顺便说一句，这听起来像是一个可以从更智能的算法中获益的问题吗？

提前致谢!

Answer 1

有几种方法可以解决这个问题，但请查看 multiprocessing模块。这是一个用于创建多个进程的标准库模块，类似于线程但没有 GIL 的限制。

你也可以看看优秀的Celery图书馆。这是一个分布式任务队列，有很多很棒的特性。它的安装非常简单，并且易于上手。