python - 使用 slurm 在网格上运行 helloworld.py 程序

Question

这个问题比较长，先总结一下:

我是并行编程和网格系统方面的新手。我想运行 http://jeremybejarano.zzl.org/MPIwithPython/introMPI.html 中的第一个示例在网格中我有一个帐户。维护者提供了一个 C 示例。我可以运行它。但是对于 python 版本，我的排名全为零。可能是什么问题？

问题的长版:

我有这段代码是用 python 2.7 (+numpy+matplotlib+mayavi) 编写的，运行需要很长时间。由于我在某个网格中有一个帐户，我想将代码移到那里，并花更少的时间等待试验完成。

不幸的是，我是并行性、网格等方面的新手。我在网格中也没有管理员权限。

提供了一些文档。该系统使用 SLURM。您准备一个 sbatch 文件，并通过 sbatch filename 发送作业。有这个用 C 编写的 helloworld 程序示例:

#include <stdio.h>
#include <mpi.h>


int main (argc, argv)
     int argc;
     char *argv[];
{
  int rank, size;

  MPI_Init (&argc, &argv);      /* starts MPI */
  MPI_Comm_rank (MPI_COMM_WORLD, &rank);        /* get current process id */
  MPI_Comm_size (MPI_COMM_WORLD, &size);        /* get number of processes */
  printf( "Hello world from process %d of %d\n", rank, size );
  MPI_Finalize();
  return 0;
}

以及管理员提供的用于运行它的 slurm 文件:

#!/bin/bash
#SBATCH -M linux
#SBATCH -p mid1
#SBATCH -A username
#SBATCH -J mid1-test
#SBATCH -N 1 
#SBATCH -n 4 
#SBATCH --time=2-00:00:00 
#SBATCH --workdir=/truba_scratch/username/test
#SBATCH --output=slurm-%j.out
#SBATCH --error=slurm-%j.err
#SBATCH --mail-type=ALL
#SBATCH --mail-user=who@am.i


. /usr/share/Modules/init/sh
module load somehostithink/library/openmpi-1.4.3/gcc
export OMP_NUM_THREADS=1
echo "SLURM_NODELIST $SLURM_NODELIST"

mpirun helloworld

exit

我可以通过 sbatch helloworld.slurm 提交。最后我看到从 0 到 3 的“hello worlds”。例如rank 对每个进程采用不同的值。不错!

问题是，没有用 Python 编写的示例程序。系统中的python是旧的:2.6.x。所以我下载了 anaconda 发行版并将其安装在用户空间中。我尝试改编上面的示例 helloworld.slurm。我想在这里运行 helloworld 示例:http://jeremybejarano.zzl.org/MPIwithPython/introMPI.html .我可以提交作业，但我得到的 helloworlds 具有相同的等级，正如您从输出文件中看到的那样。例如。这似乎并没有在不同的进程上运行。

注意:我在 c 版本中得到了相同的错误，但它仍然运行并产生不同的等级。

helloworld python 版本:

from mpi4py import MPI
comm = MPI.COMM_WORLD
rank = comm.Get_rank()
print "hello world from process ", rank

python hello world (main.py) 的 slurm 文件

#!/bin/bash
#SBATCH -M linux
#SBATCH -p mid1
#SBATCH -A username
#SBATCH -J mid1-test
#SBATCH -N 1
#SBATCH -n 4
#SBATCH --time=2-00:00:00
#SBATCH --workdir=/scratch/username/test
#SBATCH --output=slurm-%j.out
#SBATCH --error=slurm-%j.err
#SBATCH --mail-type=ALL
#SBATCH --mail-user=who@am.i

. /usr/share/Modules/init/sh
module load somehost/library/openmpi-1.4.3/gcc
export OMP_NUM_THREADS=1
echo "SLURM_NODELIST $SLURM_NODELIST"

mpirun /scratch/username/anaconda/bin/python /scratch/username/test/main.py

exit

产生的错误文件:

slurmd[shomehostithink]: task/cgroup: plugin not compiled with hwloc support, skipping affinity.

生成的输出文件:

SLURM_NODELIST hostidithink
hello world from process  0
hello world from process  0
hello world from process  0
hello world from process  0

那么，问题的原因可能是什么？我该如何解决？

明明给管理员发消息了，他还没回。

Answer 1

在 Linux 下，Anaconda 的 mpi4py 与 mpich 捆绑在一起。 (并且它在 OS X 中使用 OpenMPI。)由于您使用的是 OpenMPI mpirun，因此可以解释单例效应。您有两个选择:

1. 从源代码重新编译 Anaconda 以使用 openmpi-1.4.3/gcc
2. 尝试找到 Anaconda 的 mpirun 程序并使用它，比如 /scratch/username/anaconda/bin/mpirun/scratch/username/anaconda/bin/python/scratch/username/test/main.py

您在使用 Slurm 时遇到的错误表明 cgroup Slurm 插件未使用 hwloc 支持进行编译，因此不支持任务亲和性(将进程固定到核心)。应该不是单例问题的原因。