python - Dask.distributed 的扩展限制是什么？

Question

有没有Dask.distributed的轶事案例？有数百个工作节点的部署？分布式是为了扩展到这种规模的集群吗？

Answer 1

是

我见过的最大的 Dask.distributed 集群大约有 1000 个节点。理论上我们可以扩大规模，但规模不会太大。

当前的限制是调度程序为每个任务带来大约 200 微秒的开销。这相当于每秒大约 5000 个任务。如果您的每个任务大约需要一秒钟，那么调度程序可以使大约 5000 个核心饱和。

从历史上看，我们遇到过其他限制，例如打开文件句柄限制等。这些都已清理到我们所见的规模(1000 个节点)，通常在 Linux 或 OSX 上一切正常。 Windows 上的 Dask 调度程序停止在低数百个节点中扩展(尽管您可以将 Linux 调度程序与 Windows worker 一起使用)。当我们扩展到 10k 个节点时，如果看到其他问题突然出现，我不会感到惊讶。

简而言之，您可能不想使用 Dask 来替代百万核 Big Iron SuperComputer 或 Google Scale 上的 MPI 工作负载。否则你可能没问题。