cluster-computing - 如何在slurm集群管理器中了解一个作业的每个进程的状态？

Question

使用Slurm后集群管理器将一个作业与多个进程分批，有没有办法知道每个进程的状态(运行或完成)？可以用python脚本实现吗？

Answer 1

只需使用命令 sacct Slurm 附带。

鉴于此代码(my.sh):

#!/bin/bash
#SBATCH --nodes=1
#SBATCH --ntasks=2

srun -n1 sleep 10 &
srun -n1 sleep 3

wait

我运行它:

sbatch my.sh

然后用sacct检查它:

sacct

这给了我每一步的信息:

     JobID    JobName  Partition    Account  AllocCPUS      State ExitCode
---------- ---------- ---------- ---------- ---------- ---------- --------
8021        my.sbatch    CLUSTER        me          2     RUNNING      0:0
8021.0          sleep                   me          1     RUNNING      0:0
8021.1          sleep                   me          1   COMPLETED      0:0

sacct 有很多选项可以自定义其输出。例如，

sacct --format='JobID%6,State'

只会为您提供 ID(最多 6 个字符)和作业的当前状态:

 JobID      State
------ ----------
  8021    RUNNING
8021.0    RUNNING
8021.1  COMPLETED