python - Luigi 没有选择下一个要运行的任务，剩下一堆待处理的任务，没有失败的任务

Question

我正在运行一个大型 Luigi 工作流程，该工作流程总共应该运行一百多个任务。工作流程在很长一段时间内进展顺利，但在某个阶段，有 15 个待处理任务，所有其他任务均已成功完成，没有失败的任务。但是，它似乎不再执行任何待执行的任务。我仔细查看了日志，没有任何错误。从那时起，它只是定期打印以下日志:

There are no more tasks to run at this time
There are 15 pending tasks possibly being run by other workers
There are 15 pending tasks unique to this worker
There are 15 pending tasks last scheduled by this worker

我使用的luigi版本是2.6.1。这是屏幕截图:

知道这里会发生什么吗？为什么它会认为没有任务可以运行？这是我的 luigi 工作配置:

[worker]
keep-alive = True
max-reschedules = 3

Answer 1

在我一位同事的帮助下解决了这个问题。问题在于，在这 15 个待处理任务中，处于最低级别的任务需要一点 CPU 资源(10 个内核)。但是，当我启动工作流程时，我没有传递任何 luigi 资源参数。因此，即使有任务要运行，由于缺乏资源，路易吉也不认为任何任务符合运行资格。传递资源参数 {"cpu_cores": 10} 解决了我的问题。

也可以通过 luigi 的配置文件来完成，如下所示:

[resources]
cpu_cores=10