python - 从 pandas 转移到 dask 以利用所有本地 cpu 内核

Question

最近偶然发现http://dask.pydata.org/en/latest/
由于我有一些仅在单核上运行的 Pandas 代码，我想知道如何利用我的其他 CPU 核。
dask 可以很好地使用所有(本地)CPU 内核吗？如果是，它与 Pandas 的兼容性如何？

我可以对 Pandas 使用多个 CPU 吗？到目前为止，我阅读了有关发布 GIL 的信息，但这一切似乎都相当复杂。

Answer 1

Would dask work well to use all (local) CPU cores?

是的。

how compatible is it to pandas?

相当兼容。不是 100%。如果需要，您可以将 Pandas 和 NumPy 甚至纯 Python 的东西与 Dask 混合使用。

Could I use multiple CPUs with pandas?

你可以。最简单的方法是使用 multiprocessing并将您的数据分开——如果您可以有效地这样做，让每个作业独立地从磁盘读取并写入磁盘。更难的方法是使用 mpi4py如果您拥有具有专业管理员的多计算机环境，这将最有用。