linux - BSUB 许多matlab 作业到一个集群？

Question

我正在使用以下 bash 文件将 matlab 作业提交到集群，

#!/bin/bash
#BSUB -L /bin/bash
#BSUB -J matlab.01
#BSUB -q long
#BSUB -n 32
#BSUB -R "span[hosts=1]"
#BSUB -W 20:00
#BSUB -R "rusage[mem=3072]"

#BSUB -o %J.out
#BSUB -e %J.err

# the working directory
work=/home/models
cd $work

# run matlab on the main function
matlab -logfile ./output.txt -nodisplay -r "foo('model', day);"

假设文件名为mat.bash，那么我使用命令

bsub < mat.bash 

向集群提交一个作业。 bash 文件的最后一行包含一个函数

fool(model, day)

在这个函数中，model会有四个备选方案，day会有200个备选方案，也就是说我有 4 X 400 = 800 个作业要提交到集群，每个作业将运行大约 16 小时。

提交 800 个作业最方便的方法是什么，而不是一个一个地提交？

目标是让多个作业可以同时在集群上运行，不需要等待一个作业完成再启动另一个作业。

提前致谢!

Answer 1

我的建议是从您的脚本中删除对 matlab 的实际调用，然后编写一个单独的脚本来迭代“model”和“day”的可能值，附加适当的 matlab 调用，并为您提交每个作业.

类似于:

#!/bin/sh

for model in one two three four
do
    for day in `seq 200`
    do  
        cp mat.bash mat.bash.$model.$day
        echo "matlab -logfile ./output.txt -nodisplay -r \"foo('$model', $day);\"" >> mat.bash.$model.$day
        bsub < mat.bash.$model.$day
        rm mat.bash.$model.$day
    done
done