solver - "Select jobs to execute..."永远运行

Question

我有一个相当复杂的工作流程，有 750 个样本和大约 18.000 个作业，起初 snakemake 运行得很好，但在大约 4.000 个作业后它突然卡住，并在重新启动时挂起并显示“选择要执行的作业...” 24 小时，之后我终止了它。不过，最初的 DAG 构建大约需要 2-3 分钟。

当我使用 --verbose 选项运行 snakemake(v5.32.0 和 v5.32.1)时，我得到大量与此类似的行:

Cbc0010I 在 600 个节点之后，树上有 304 个，-52534.791 最佳解决方案，最佳可能 -52538.194(7.08 秒

我试图删除 .snakemake 文件夹，希望那里发生一些骚动，但不幸的是，情况并非如此。在我看来，CBC MILP Solver 似乎不会收敛，它会继续前进并使最佳和最佳可能解决方案更接近!？

现在我不知道如何继续和解决问题。我可能的解决方案是以某种方式改变收敛标准或求解器本身。在手册中，我找到了选项 --scheduler-ilp-solver 但它显然只有一个选项，即默认的 COIN_CMD。

终止(较短的)运行后，我得到了这个详细的输出

Result - User ctrl-cuser ctrl-c

Objective value:                52534.79114334
Upper bound:                    52538.202
Gap:                            -0.00
Enumerated nodes:               186926
Total iterations:               1807277
Time (CPU seconds):             1181.97
Time (Wallclock seconds):       1188.11

接下来我将尝试限制工作流程中的样本数量，看看这是否有任何影响(对于其他具有 500 个样本的数据集，它运行没有任何问题(使用 snakemake 版本 5.24)，但是 DAG 构建需要一些时间小时。因此，我不太想尝试旧版本。)

因此，非常感谢任何解决问题的想法。另外，我什至不知道，如果这是一个错误!？

编辑 实际上，我认为这是当前版本中的一个错误，我将 Snakemake 降级回 5.24 版，它在 10 分钟内创建了 DAG 并开始运行管道。因此，显然最新版本存在一些错误。我会把它作为我自己问题的答案，因为降级到旧版本解决了这个问题......

Answer 1

我在较小的工作流程(总共约 1500 个作业)和 snakemake 版本 6.0.2 中也遇到了这个问题。当工作流卡住时，大约一半的作业已经运行，并且拒绝运行更多作业。看起来这是一个特定于 ILP 求解器的问题，因为当我使用 --scheduler greedy 重新运行时，它运行良好。