python - Snakemake 使用脚本进行 shell I/O 重定向和访问 Snakemake 变量

Question

问题很简单:
我想从规则调用脚本，并且我希望该规则同时适用于:

• 执行 stdout 和 stderr 重定向
• 从脚本中访问snakemake变量(变量可以是列表和文字)

如果我使用 shell:，那么我可以执行 I/O 重定向，但无法在脚本内使用 snakemake 变量。
注意:当然可以将变量作为参数从 shell 传递给脚本。但是，通过这样做，脚本无法区分文字变量和列表变量。
如果我改为使用 script: 那么，我可以访问我的 Snakemake 变量，但无法执行 I/O 重定向和许多其他 shell 设施。

<小时/>

举例说明问题:
1)使用shell:

rule create_hdf5:
    input:
        genes_file = OUTPUT_PATH+'/{sample}/outs/genes.tsv'
    params:
        # frequencies is a list!!!
        frequencies = config['X_var']['freqs']
    output:
        HDF5_OUTPUT+'/{sample}.h5'
    log:
        out = LOG_FILES+'/create_hdf5/sample_{sample}.out',
        err = LOG_FILES+'/create_hdf5/sample_{sample}.err'
    shell:
        'python scripts/create_hdf5.py {input.genes_file} {params.frequencies} {output} {threads} 2> {log.err} 1> {log.out} '

问题 1):自然地，Python 脚本认为频率列表中的每个元素都是一个新参数。然而，该脚本无法访问 snakemake 变量。

2) 使用脚本:

rule create_hdf5:
    input:
        genes_file = OUTPUT_PATH+'/{sample}/outs/genes.tsv'
    params:
        # frequencies is a list!!!
        frequencies = config['X_var']['freqs']
    output:
        HDF5_OUTPUT+'/{sample}.h5'
    log:
        out = LOG_FILES+'/create_hdf5/sample_{sample}.out',
        err = LOG_FILES+'/create_hdf5/sample_{sample}.err'
    script:
        'scripts/create_hdf5.py'

问题 2):我可以访问脚本内的 Snakemake 变量。但现在我无法使用 bash 功能，例如 I/O 重定向。

我想知道是否有一种方法可以同时实现这两个目标(也许我在snakemake文档中遗漏了一些东西)？提前致谢!

Answer 1

如果可能的话，我建议您使用argparse模块来解析脚本的输入，以便它可以使用 nargs="*" 选项解析参数列表:

def main():
    """Main function of the program."""
    parser = argparse.ArgumentParser(
        description=__doc__,
        formatter_class=argparse.ArgumentDefaultsHelpFormatter)
    parser.add_argument(
        "-g", "--genes_file",
        required=True,
        help="Path to a file containing the genes.")
    parser.add_argument(
        "-o", "--output_file",
        required=True,
        help="Path to the output file.")
    parser.add_argument(
        "-f", "--frequencies",
        nargs="*",
        help="Space-separated list of frequencies.")
    parser.add_argument(
        "-t", "--threads",
        type=int,
        default=1,
        help="Number of threads to use.")
    args = parser.parse_args()
    # then use args.gene_file as a file name and args.frequencies as a list, etc.

您可以这样调用它:

shell:
    """
    python scripts/create_hdf5.py \\
        -g {input.genes_file} -f {params.frequencies} \\
        -o {output} -t {threads} 2> {log.err} 1> {log.out}
    """