hpc - 在并行处理中更改 $TMPDIR

Question

我在高性能计算系统上运行批处理作业来对对齐的读取进行排序，并使用 GNU parallel 来加速我的工作，但我的作业失败了，原因如下:

parallel: Error: Output is incomplete. Cannot append to buffer file in $TMPDIR. Is the disk full? parallel: Error: Change $TMPDIR with --tmpdir or use --compress.

我的作业脚本是这样的:

module load samtools/1.2

export TMPDIR=/scratch/$SLURM_JOBID

cd /data
ls *sam* | parallel "samtools sort –T /scratch/$SLURM_JOBID/{.} -O bam -o {}.bam {}"

有谁知道如何解决这个问题？

Answer 1

我收到相同的消息“parallel: Error: Change $TMPDIR with --tmpdir or use --compress”

我尝试将“--tmpdir/home/mydirectory”添加到脚本中，但是当我看到文件“/home/mydirectory/”没有创建任何内容时，我看到了默认目录“/tmp/”和临时文件(如/tmp/pAh6uWuQCg、/tmp/opjhZCzAX4 等)仍会在该目录中创建。对我来说，这意味着脚本中的参数“--tmpdir/home/mydirectory”不起作用。

在我的例子中，我运行我的应用程序的脚本隔离并检查日志，并意识到我的应用程序有错误，因为日志显示错误消息并且它被填充到文件“/tmp/”

也许我的经历能帮到你