linux - qsub 数组作业延迟

Question

#!/bin/bash
#PBS -S /bin/bash
#PBS -N garunsmodel
#PBS -l mem=2g
#PBS -l walltime=1:00:00
#PBS -t 1-2
#PBS -e error/error.txt
#PBS -o error/output.txt
#PBS -A improveherds_my
#PBS -m ae

set -x
c=$PBS_ARRAYID

nodeDir=`mktemp -d /tmp/phuong.XXXXX`
cp -r /group/dairy/phuongho/garuns $nodeDir
cp /group/dairy/phuongho/jo/parity1/my/simplex.bin $nodeDir/garuns/simplex.bin
cp /group/dairy/phuongho/jo/parity1/nttp.txt $nodeDir/garuns/my.txt
cp /group/dairy/phuongho/jo/parity1/delay_input.txt $nodeDir/garuns/delay_input.txt

cd $nodeDir/garuns

module load gcc vle

XXX=`pwd`

sed -i "s|/group/dairy/phuongho/garuns/out|$XXX/out/|" exp/garuns.vpz

awk -v i="$c" 'NR == 1 || $8==i' my.txt > simplex-observed.txt
awk -v i="$c" 'NR == 1 || $7==i {print $6}' delay_input.txt > afm_param.txt
cp "/group/dairy/phuongho/garuns_param.txt" "$nodeDir/garuns/garuns_param.txt"
while true
do
./simplex.bin &
sleep 5m
done

awk 'NR >1' < simplex-optimum-output.csv>> /group/dairy/phuongho/jo/parity1/my/finalresuls${c}.csv
cp simplex-all-output.csv "/group/dairy/phuongho/jo/parity1/my/simplex-all-output${c}.csv"
#awk '$28==1{print $1, $12,$26,$28,c}' c=$c out/exp_tempfile.csv > /group/dairy/phuongho/jo/parity1/my/simulated_my${c}.csv
cp /out/exp_tempfile.csv /group/dairy/phuongho/jo/parity1/my/exp_tempfile${c}.csv

rm simplex-observed.txt
rm garuns_param.txt

我有上面的 bash 脚本，它允许通过 PBS_ARRAYID 同时提交多个作业。我的问题是我的模型 (simplex.bin) 在执行时会向我的主目录写入一些内容。因此，如果一个作业一次运行或等到下一个作业完成将东西写到家里，那就没问题了。但是，由于我希望同时运行 >1000 个作业，因此其中 1000 个尝试将相同的内容写到家里，然后导致崩溃。有没有什么聪明的方法可以在第一个工作已经开始一定时间(比如 5 分钟)后提交第二个工作？我已经检查并找到了两个选项:第一份工作完成后开始第二份工作，或者在特定日期/时间开始。

谢谢

Answer 1

您可以尝试以下操作:

while [ yes ]
do
     ./simplex.bin &
     sleep 2
done

它在后台无休止地启动./simplex.bin进程，等待2秒，启动一个新的./simplex.bin等。

请注意，您可能还需要 nohup 并为您的 ./simplex.bin 添加标准输入/输出重定向。根据您的具体要求