snakemake - 使用snakemake在condor集群上提交作业时出错

Question

我正在尝试使用以下命令将一些 Snakemake 作业提交给 Condor 集群。

snakemake -f TestJob --cluster-config cluster.json -j 30 --cluster condor_submit

其中 TestJob 规则在 SnakeFile 中指定

rule TestJob:
    input:
    output: "test.txt"
    shell:
        "touch test.txt;"

集群配置文件如下:

{
    "__default__" :
    {
        "output"    : "workdir/logs/cluster/{rule}.{wildcards}.out",
        "error"     : "workdir/logs/cluster/{rule}.{wildcards}.err",
        "log"       : "workdir/logs/cluster/{rule}.{wildcards}.log"
    },

}

当我这样做时，我收到以下错误:

Building DAG of jobs...
Using shell: /bin/bash
Provided cluster nodes: 30
Job counts:
    count   jobs
    1   TestJob
    1

[Mon Jul  1 11:18:04 2019]
rule TestJob:
    output: test.txt
    jobid: 0


ERROR: on Line 11 of submit file: 

ERROR: Failed to parse command file (line 11).
Error submitting jobscript (exit code 1):
Submitting job(s)
Shutting down, this might take some time.
Exiting because a job execution failed. Look above for error message

有人知道会发生什么吗？谢谢

Answer 1

Snakemake 应该将 shell 指令下的字符串写入临时文件，并将该文件作为命令参数传递给 condor_submit。也就是说，在您的情况下，临时文件将仅包含行 touch test.txt; ，然后 Snakemake 将执行 condor_submit temp.sh 。

那么，如果您实际上编写一个只有一行 touch test.txt; 的文件，然后执行 condor_submit temp.sh ，会发生什么？只是一个疯狂的猜测，因为我不熟悉秃鹰......

(但是，错误消息显示ERROR: on Line 11 of Submit file:，因此提交的文件可能超过 1 行)