- html - 出于某种原因,IE8 对我的 Sass 文件中继承的 html5 CSS 不友好?
- JMeter 在响应断言中使用 span 标签的问题
- html - 在 :hover and :active? 上具有不同效果的 CSS 动画
- html - 相对于居中的 html 内容固定的 CSS 重复背景?
我有一个 shell 脚本,如果我只是从命令行运行它,它运行良好。当我从 snakemake 中的规则调用它时,它失败了。
该脚本在一个标识 rune 件上运行一个 for 循环,并使用这些标识符从 fastq 文件中 grep 序列,然后进行多序列比对并达成共识。
这是脚本。我在那里放了一些 echo 语句,但出于某种原因它没有调用命令。它在 grep 语句处停止。
我试过添加 set +o pipefail;在规则中,但这也不起作用。
#!/bin/bash
function Usage(){
echo -e "\
Usage: $(basename $0) -r|--read2 -l|--umi-list -f|--outfile \n\
where: ... \n\
" >&2
exit 1
}
# Check argument count
[[ "$#" -lt 2 ]] && Usage
# parse arguments
while [[ "$#" -gt 1 ]];do
case "$1" in
-r|--read2)
READ2="$2"
shift
;;
-l|--umi-list)
UMI="$2"
shift
;;
-f|--outfile)
OUTFILE="$2"
shift
;;
*)
Usage
;;
esac
shift
done
# Set defaults
# Check arguments
[[ -f "${READ2}" ]] || (echo "Cannot find input file ${READ2}, exiting..." >&2; exit 1)
[[ -f "${UMI}" ]] || (echo "Cannot find input file ${UMI}, exiting..." >&2; exit 1)
#Create output directory
OUTDIR=$(dirname "${OUTFILE}")
[[ -d "${OUTDIR}" ]] || (set -x; mkdir -p "${OUTDIR}")
# Make temporary directories
TEMP_DIR="${OUTDIR}/temp"
[[ -d "${TEMP_DIR}" ]] || (set -x; mkdir -p "${TEMP_DIR}")
#RUN consensus script
for f in $( more "${UMI}" | cut -f1);do
NAME=$(echo $f)
grep "${NAME}" "${READ2}" | cut -f1 -d ' ' | sed 's/@M/M/' > "${TEMP_DIR}/${NAME}.name"
echo subsetting reads
seqtk subseq "${READ2}" "${TEMP_DIR}/${NAME}.name" | seqtk seq -A > "${TEMP_DIR}/${NAME}.fasta"
~/software/muscle3.8.31_i86linux64 -msf -in "${TEMP_DIR}/${NAME}.fasta" -out "${TEMP_DIR}/${NAME}.muscle.fasta"
echo make consensus
~/software/EMBOSS-6.6.0/emboss/cons -sequence "${TEMP_DIR}/${NAME}.muscle.fasta" -outseq "${TEMP_DIR}/${NAME}.cons.fasta"
sed -i 's/n//g' "${TEMP_DIR}/${NAME}.cons.fasta"
sed -i "s/EMBOSS_001/${NAME}.cons/" "${TEMP_DIR}/${NAME}.cons.fasta"
done
cat "${TEMP_DIR}/*.cons.fasta" > "${OUTFILE}"
蛇形规则:
rule make_consensus:
input:
r2=get_extracted,
lst="{prefix}/{sample}/reads/cell_barcode_umi.count"
output:
fasta="{prefix}/{sample}/reads/fasta/{sample}.R2.consensus.fa"
shell:
"sh ./scripts/make_consensus.sh -r {input.r2} -l {input.lst} -f {output.fasta}"
编辑 Snakemake 错误消息 我将一些路径更改为中性文件路径
RuleException:
CalledProcessError in line 29 of ~/user/scripts/consensus.smk:
Command ' set -euo pipefail; sh ./scripts/make_consensus.sh -r ~/user/file.extracted.fastq -l ~/user/cell_barcode_umi
.count -f ~/user/file.consensus.fa ' returned non-zero exit status 1.
File "~/user/scripts/consensus.smk", line 29, in __rule
_make_consensus
File "~/user/miniconda3/lib/python3.6/concurrent/futures/thread.py", line 56, in run
Shutting down, this might take some time.
Exiting because a job execution failed. Look above for error message
如果有比使用 shell for 循环更好的方法来做到这一点,请告诉我!
谢谢!
编辑
脚本独立运行:首先 grep
grep AGGCCGTTCT_TGTGGATG R_extracted/wgs_5_OL_debug.R2.extracted.fastq | cut -f1 -d ' ' | sed 's/@M/M/' > ./fasta/temp/AGGCCGTTCT_TGTGGATG.name
脚本通过 snakemake 运行:前 2 个 grep 语句
grep :::::::::::::: R_extracted/wgs_5_OL_debug.R2.extracted.fastq | cut -f1 -d ' ' | sed 's/@M/M/' > ./fasta/temp/::::::::::::::.name
我现在正试图弄清楚 snakemake 中的那些:::::是从哪里来的。欢迎所有想法
最佳答案
It stops at the grep statement
我的猜测是 make_consensus.sh
中的 grep
命令没有捕获任何内容。 grep
在这种情况下返回退出代码 1,并且非零退出状态传播到 snakemake。 (另见 Handling SIGPIPE error in snakemake)
松散相关... make_consensus.sh
的 shebang 之间存在不一致,表示脚本应使用 bash
(#!/bin/bash
) 和使用 sh 的实际执行 (sh ./scripts/make_consensus.sh
)。 (在实践中,它不应该有任何区别,因为 sh 可能无论如何都被重定向到 bash)
关于shell - snakemake 规则调用 shell 脚本但在第一个命令后退出,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/53243735/
我想使用 Snakemake 使用 SRR ID 从 SRA 数据库下载 fastq 文件。我读取了一个文件以使用 python 代码获取 SRR ID。 我想一个一个解析Variable作为输入。我
这更多是关于 snakemake 功能的技术问题。我想知道是否可以在 snakemake 运行期间动态更改输入样本集。 我想这样做的原因如下:让我们假设一组样本相关的 bam 文件。第一条规则确定每个
我正在创建一个 snakemake 管道,在某些时候,我可以在其中过滤我的结果。但是我可以应用两种过滤器,所以我想在启动管道时将其作为参数提供,然后根据参数,我想应用一个或另一个规则。 举个例子: s
我有以下 Snakemake 文件: rule test: params: a = "a" shell: "echo {params.a}" 按预期工作
我有以下 Snakemake 文件: rule test: params: a = "a" shell: "echo {params.a}" 按预期工作
我有一个复杂的工作流程,我逐渐扩展了它。最后一个扩展导致 AmbiguousRuleException。我试图在以下示例中重现工作流的关键结构: NUMBERS = ["1", "2"] LETTER
上下文 规则 A 在 shell 指令中使用 split 命令。rule A 生成的文件数量取决于用户在配置中指定的值,因此是已知的。 在this question存在差异,因为输出文件的数量未知,但
我正在尝试创建一种简单的方法来在一个规则中创建工作流所需的所有子目录。但是,每当我尝试执行在工作流顶部创建所有必需目录的规则时,我都会收到 ChildIOException ,这对我来说毫无意义: B
我有一个 Snakemake 规则,适用于数据存档并本质上解压其中的数据。文件包含我在规则开始之前知道的不同数量的文件,因此我想利用它并执行类似的操作 rule unpack: input:
我想将每个 snakemake 作业执行的 shell 命令保存到日志文件中。 使用 --printshellcmds 我可以在提交时将 shell 命令打印到标准输出,但我想将它们保存到单独的文件中
我有一个很长的蛇形工作流程,处理 9 个具有许多并行规则的样本。当我为 DAG 创建图片时: snakemake --forceall --dag | dot -Tpdf > dag.pdf 生成的
我有一个奇怪的问题,它来来去去,我真的不知道什么时候以及为什么。 我正在运行这样的蛇形管道: conda activate $myEnv snakemake -s $snakefile --co
在snakemake 中,我想从config 访问 key 。从内部shell:指示。我可以用 {input.foo} , {output.bar} , 和 {params.baz} ,但是 {con
在我的第一次运行中,我有两类样本要由不同的参数处理,然后在第二次运行中将它们合并在一起。像下面的例子: SAMPLES = ['1', '2', '3'] CLASS1 = ['1', '2'] CL
我想问 Snakemake 社区是否有人在 AWS Batch 中成功实现了 Snakemake 工作流程。 2018 年 10 月最近发布的第 4 页似乎表明 Snakemake 在 AWS 上不起
问题很简单: 我想从规则调用脚本,并且我希望该规则同时适用于: 执行 stdout 和 stderr 重定向 从脚本中访问snakemake变量(变量可以是列表和文字) 如果我使用 shell:,那么
由于 conda 环境未处于事件状态,工作流的一些非常晚的作业崩溃了。 现在,当我尝试使用 snakemake deploy_all --ignore-incomplete 重新运行时,所有作业都直接
我开始尝试在 Snakemake 中使用容器,我有一个问题,什么需要预先构建到容器中,什么不需要。例如: 我想在一个容器中运行一个 python 脚本(例如,存储在 workflow_root/scr
以下蛇形脚本: rule all: input: 'test.done' rule pipe: output: 'test.done' shell:
我使用的所有脚本都将输出文件放在调用脚本的当前目录中,因此在我的 shell 脚本管道中,我会让 cd 命令转到特定目录以运行命令,而输出文件将仅保存在相关目录中。我的脚本没有输出目录的参数,大多数脚
我是一名优秀的程序员,十分优秀!