python - 如何为默认的 dask 调度程序指定线程/进程数

Question

有没有办法限制默认线程调度程序(使用 dask 数据帧时的默认值)使用的内核数量？

使用compute，您可以使用以下方式指定它:

df.compute(get=dask.threaded.get, num_workers=20)

但我想知道是否有办法将它设置为默认值，这样您就不需要为每个 compute 调用指定它？

例如，在小型集群(例如 64 核)的情况下会很有趣，但它与其他人共享(没有工作系统)，而且我不想在开始时占用所有核心用 dask 计算。

Answer 1

你可以指定一个默认的ThreadPool

from multiprocessing.pool import ThreadPool
import dask
dask.config.set(pool=ThreadPool(20))