dask - 什么导致 dask 作业失败并出现 CancelledError 异常

Question

我已经看到以下错误消息已经有一段时间了，但无法弄清楚导致失败的原因。

错误:

concurrent.futures._base.CancelledError: ('sort_index-f23b0553686b95f2d91d4a3fda85f229', 7)

在重新启动 dask 集群时，它运行成功。

Answer 1

如果运行 dask-cloudprovider ECSCluster或 FargateCluster concurrent.futures._base.CancelledError可能是由于计算中的长时间运行步骤导致 Client 没有输出(日志记录或其他方式) .在这些情况下，由于缺乏与客户端的交互，调度器将自己视为“空闲”并在配置 cloudprovider.ecs.scheduler_timeout 后超时。时间段，默认为 5 分钟。 CancelledError 错误消息具有误导性，但如果您查看调度程序任务本身的日志，它将记录空闲超时。
解决方法是设置scheduler_timeout通过配置或直接传递给 ECSCluster 到更高的值/FargateCluster构造函数。