bash - 与 SLURM 和有限资源并行运行 MPI 调用队列

Question

我正在尝试使用 SLURM 在集群上运行粒子群优化问题，优化算法由单核 matlab 进程管理。每个粒子评估都需要多次 MPI 调用，这些调用在两个 Python 程序之间交替进行，直到结果收敛。每个 MPI 调用最多需要 20 分钟。

我最初天真地将每个 MPI 调用作为一个单独的 SLURM 作业提交，但由此产生的排队时间使其比在本地串行运行每个作业要慢。我现在正试图找出一种方法来提交一个 N 节点作业，该作业将持续运行 MPI 任务以利用可用资源。 matlab 进程将使用文本文件标志管理此作业。

这是一个伪代码 bash 文件，可能有助于说明我在较小规模上尝试做的事情:

#!/bin/bash

#SBATCH -t 4:00:00 # walltime
#SBATCH -N 2 # number of nodes in this job
#SBATCH -n 32 # total number of processor cores in this job

# Set required modules
module purge
module load intel/16.0
module load gcc/6.3.0

# Job working directory
echo Working directory is $SLURM_SUBMIT_DIR
cd $SLURM_SUBMIT_DIR
echo Running on host `hostname`
echo Time is `date`
echo Directory is `pwd`

# Run Command
while <"KeepRunning.txt” == 1>
do
  for i in {0..40}
  do
    if <“RunJob_i.txt” == 1>
    then
      mpirun -np 8 -rr -f ${PBS_NODEFILE} <job_i> &
    fi
  done
done

wait

这种方法不起作用(只是崩溃)，但我不知道为什么(可能是资源过度利用？)。我的一些同行建议使用 parallel 和 srun，但据我所知，这需要我分批调用 MPI 函数。这将是一种巨大的资源浪费，因为很大一部分运行会很快完成或失败(这是预期的行为)。该问题的一个具体示例是启动一批 5 个 8 核作业，其中 4 个立即崩溃；现在 32 个内核在等待 20 分钟以完成第 5 个作业时什么都不做。

由于优化可能需要超过 5000 mpi 的调用，任何效率的提高都会对绝对等待时间产生巨大影响。有没有人对我如何在大型 SLURM 作业上运行源源不断的 MPI 调用有任何建议？如果有任何帮助，我将不胜感激。

Answer 1

一些事情:在 SLURM 下，您应该使用 srun，而不是 mpirun。第二件事是您提供的伪代码会启动无限数量的作业，而无需等待任何完成信号。您应该尝试将等待置于内部循环中，这样您就可以启动一组作业，等待它们完成，评估条件，也许启动下一组作业:

#!/bin/bash
#SBATCH -t 4:00:00 # walltime
#SBATCH -N 2 # number of nodes in this job
#SBATCH -n 4 # total number of tasks in this job
#SBATCH -s 8 # total number of processor cores for each task

# Set required modules
module purge
module load intel/16.0
module load gcc/6.3.0

# Job working directory
echo Working directory is $SLURM_SUBMIT_DIR
cd $SLURM_SUBMIT_DIR
echo Running on host `hostname`
echo Time is `date`
echo Directory is `pwd`

# Run Command
while <"KeepRunning.txt” == 1>
do
  for i in {0..40}
  do
    if <“RunJob_i.txt” == 1>
    then
      srun -np 8 --exclusive <job_i> &
    fi
  done
  wait
  <Update "KeepRunning.txt”>

done

还要注意区分任务和核心。 -n 表示将使用多少个任务，-c 表示每个任务将分配多少 cpu。

我编写的代码将在后台启动 41 个作业(从 0 到 40，包括在内)，但它们只会在资源可用(--独占)时启动，等待它们被占用。每个作业将使用 8 个 CPU。您将等待它们完成，我假设您将在该轮之后更新 KeepRunning.txt。