python - 从客户端或调度程序关闭 dask worker

Question

在API中，有一种方法可以restart所有 worker 和shutdown客户完全，但我认为没有办法在保持客户不变的情况下停止所有 worker 。有没有我找不到的方法可以做到这一点，或者它是一个不存在的功能？

Answer 1

这似乎是一个不存在的功能，但使用当前代码仍然可以实现。您可以使用 run_on_scheduler与调度程序本身的方法进行交互。

workers = list(c.scheduler_info()['workers'])
c.run_on_scheduler(lambda dask_scheduler=None: 
    dask_scheduler.retire_workers(workers, close_workers=True))

其中 c 是客户端，我们调用 retire_workers优雅地要求每个 worker 退出。

可能还有其他方法可以实现这一点。请注意，在这种情况下，调度程序仍在运行 - 从问题中不清楚是否需要这样做。