python - Snakemake SGE集群提交问题

Question

我是 snakemake 和使用集群的新手，所以我将不胜感激任何帮助!

我有一个在服务器上运行良好的 snakefile，但是当我尝试在集群上运行它时，我没有找到正确的命令来提交作业并让它执行。它像其他用户发现的那样“停滞”。 https://groups.google.com/forum/#!searchin/snakemake/cluster|sort:relevance/snakemake/dFxRIgKDxUU/od9az3MuBAAJ

我在 SGE 集群上运行它，其中只有一个节点(头节点)用于提交作业。我们无法在头节点上以交互方式运行作业或运行密集型命令。通常我会像这样运行 bwa 命令:

qsub -V -b y 'bwa mem -t 20 /reference/hg38.fa in/R_1.fastq in/R_2.fastq |samtools view -S -bh -@ 7 > aln_R.bam' 

所以我遵循了关于通过建议此代码的头节点在集群上提交作业的常见问题解答:

qsub -N PIPE -cwd -j yes python snakemake --cluster "ssh user@headnode_address 'qsub -N pipe_task -j yes -cwd -S /bin/sh ' " -j

这对我不起作用，因为我的终端期望 python 是一个文件。要实际调用程序的命令，我必须使用这个:

qsub -V -N test -cwd -j y -b y snakemake --cluster "qsub " -j 1

-b y 允许二进制文件或脚本文件。如果我运行它，qstat 将显示程序正在运行，但存在内部错误并且它永远不会完成。

此外，“qsub”中的内容被视为 snakemake 命令。当我尝试使用诸如 -j y 之类的 sge 标志时，我在 snakemake 中遇到如下错误:

qsub -V -N test -cwd -j y -b y snakemake --cluster "qsub -j y" -j 1
snakemake: error: argument --cores/--jobs/-j: invalid int value: 'y' 

我可以完美地在 tmp 文件中提交 snakemake shell 脚本，但我不能使用 -b y 标志并添加了 -S/bin/bash 标志。所以脚本本身可以工作，但我认为它们从头节点推送到集群的方式在某种程度上不起作用。我也可能完全偏离目标!我会喜欢任何关于如何与我的系统管理员谈论 SGE 的指导，因为我真的不知道该问他们什么关于我的问题。

结论:有没有其他人遇到需要为 snakemake --cluster 调用 -b y 以在 SGE 上运行？它是否也将“qsub”视为 snakemake 命令？或者有人有其他解决方法可以在 SGE 的头节点上提交作业吗？我应该问我的 SGE 系统管理员什么问题？

Answer 1

为了简化事情:

1. 您不需要为您的工作命名 (-N PIPE)
2. 您不需要设置工作目录 (-cwd)
3. Snakemake 很好地处理了作业的 STDERR 和 STDIN(-j 是)
4. 我对这面旗帜了解不够，保留它。 ('-b y')
5. 您可能还需要 -S 参数，见下文。

Qsub 参数:

[-b y[es]|n[o]]      handle command as binary
[-S path_list]       command interpreter to be used
[-V]                 export all environment variables

从包含你的 Snakefile 的目录中尝试下面的调用。我的 SGE 集群需要这个“-S/bin/bash”参数。我有关于“-S”的理论，但我不能确定为什么需要它。这篇文章中的答案反射(reflect)了我对为什么需要它的很多怀疑... SGE Cluster - script fails after submission - works in terminal

尝试

$snakemake --jobs 10 --cluster "qsub -V -b y"

或

$snakemake --jobs 10 --cluster "qsub -V -b y -S /bin/bash"

这样你就有了你的 Snakemake 参数(--jobs & --cluster)，与你的 qsub 参数(-V、-b 和 -S)明显分开。

你的 Snakefile 应该看起来像这样。它可以更好地编码，但这是基本思想。

run bwaRULE:
    input:
        "in/R_1.fastq", "in/R_2.fastq"
    output:
        "aln_R.bam"
    shell:
        "bwa mem -t 20 /reference/hg38.fa {input} | samtools view -S -bh -@ 7 > {output}"

编辑 回应 OP 的评论。

TL;DR 祝你一切顺利。我不认为这是 Snakemake 的用途。 Inti Pedroso 重新发明了轮子，您可能也必须这样做。由于您也引用了他的帖子，我会指出他指定系统管理员“更喜欢”不要让 Snakemake 在头节点上运行，因为担心它会消耗太多资源。

PID   USER      PR   NI VIRT  RES  SHR S %CPU  %MEM  TIME+  COMMAND
26389 tboyarsk  19   0  318m  62m  11m R 99.8  0.1   0:10.96 snakemake

这是一个包含 1000 个作业的 DAG，使用了我编写的 20 多个 Snakemake 模块中的 14 个。它最终尝试使用 100% 的 CPU，但持续时间小于 15 秒。内存使用不超过 500MB。我强烈建议您在开始解决问题之前与您的系统管理员再试一次水。获得许可将为您节省大量时间。

http://snakemake.readthedocs.io/en/stable/project_info/faq.html#how-can-i-run-snakemake-on-a-cluster-where-its-main-process-is-not-allowed-to-run-on-the-head-node

https://bitbucket.org/snakemake/snakemake/issues/25/running-snakemake-via-cluster-engine

我正在按照员工的要求对其进行重命名。它们还不是 super 描述性的。 4 重新排列后的样本在重建、注释和数据求和之前通过染色体进行 split 和处理。

Job counts:
count   jobs
4   alignBAM
1   all
8   canonical
8   catVCF
4   cosmic
4   dpsnp
4   filteredBAM
4   indel
4   indexBAM
336 mPileSPLIT
4   markdupBAM
672 mpileup2SPLIT
4   sortBAM
8   tableGET
4   undoBAM
1069

编辑 2017 年 5 月 26 日

添加以阐明大型管道的 Snakemake 提交在头节点上的资源消耗。

根据经验，这里有一个关于运行此管道导致头节点上的压力//资源消耗的想法。提交管道后的前 30 秒内资源消耗达到峰值。之后，头节点的资源消耗就微不足道了。头节点仅使用最少的资源来监视作业状态并提交下一个调用，就像调度程序通常所做的那样。没有更多的资源密集型决定。

范围

• 17GB BAM 文件(4 个样本)
• 持续时间(并行运行时为 6 小时)
• 头节点在第一个 15-20 秒 DAG 组装后的使用是微不足道的。

时间线

1. 开始
2. 15-20 秒头节点竞争资源 (<500MB)，同时确定和组装 DAG。
3. 作业是通过 Snakemake 命令从头节点到子节点的 qsub'b，几乎是即时的。很少的开销，主要是字符串连接和变量链接。这一直持续到所有作业都已提交。