c++ - 使用 CUDA-aware MPI 的要求

Question

我想通过 CUDA 感知 MPI 在不同 CUDA 设备之间交换数据，如 this article 中所述.据我了解，以下代码应该可以完成这项工作:

#include <mpi.h>

int main( int argc, char *argv[] )
{
  int rank;
  float *ptr = NULL;
  const size_t elements = 32;
  MPI_Status status;

  MPI_Init( NULL, NULL );
  MPI_Comm_rank( MPI_COMM_WORLD, &rank );
  cudaMalloc( (void**)&ptr, elements * sizeof(float) );

  if( rank == 0 )
    MPI_Send( ptr, elements, MPI_FLOAT, 1, 0, MPI_COMM_WORLD );
  if( rank == 1 )
    MPI_Recv( ptr, elements, MPI_FLOAT, 0, 0, MPI_COMM_WORLD, &status );

  cudaFree( ptr );
  MPI_Finalize();

  return 0;
}

不幸的是，此程序在两个进程上执行时因段错误而崩溃，并显示以下消息:

*** Process received signal ***
Signal: Segmentation fault (11)
Signal code: Address not mapped (1)
Failing at address: 0x210000
[ 0] /lib64/libc.so.6[0x39d94326a0]
[ 1] /lib64/libc.so.6(memcpy+0xd2)[0x39d9489742]
[ 2] /usr/lib64/openmpi/lib/libopen-pal.so.6(opal_convertor_pack+0x18e)[0x2b750326cb1e]
[ 3] /usr/lib64/openmpi/lib/openmpi/mca_btl_smcuda.so(mca_btl_smcuda_sendi+0x3dc)[0x2b7507c2252c]
[ 4] /usr/lib64/openmpi/lib/openmpi/mca_pml_ob1.so(+0x890f)[0x2b75086ec90f]
[ 5] /usr/lib64/openmpi/lib/openmpi/mca_pml_ob1.so(mca_pml_ob1_send+0x499)[0x2b75086ed939]
[ 6] /usr/lib64/openmpi/lib/libmpi.so.1(PMPI_Send+0x1dd)[0x2b7502d3ef8d]
[ 7] prog(main+0x98)[0x400d51]
[ 8] /lib64/libc.so.6(__libc_start_main+0xfd)[0x39d941ed5d]
[ 9] prog[0x400be9]
*** End of error message ***

我使用 OpenMPI 1.8.2 和 nvcc 6.5；据我所知，这些版本应该支持此功能。

所以，我的问题是:我做错了什么？我错过了什么吗？对于如何获得最小工作示例的任何提示，我将不胜感激!

Answer 1

段错误几乎可以肯定是由于将设备指针传递给 MPI，而 MPI 需要主机指针。只有正确构建的 CUDA 感知 MPI 才能接受设备指针。仅仅拥有 OpenMPI 1.8.2 是不够的。您必须具有使用 CUDA 感知设置明确构建的 OpenMPI 版本。

对于 OpenMPI，

开始here

摘录:

1. 如何构建支持 CUDA 的 Open MPI？

支持 CUDA 意味着 MPI 库可以直接发送和接收 GPU 缓冲区。此功能存在于 Open MPI 1.7 系列及更高版本中。支持不断更新，因此不同版本存在不同级别的支持。

Configuring Open MPI 1.7, MPI 1.7.1 and 1.7.2

--with-cuda(=DIR)       Build cuda support, optionally adding DIR/include,
                      DIR/lib, and DIR/lib64


--with-cuda-libdir=DIR  Search for cuda libraries in DIR

以下是启用 CUDA 支持的配置命令的一些示例。

1. 在默认位置搜索。在/usr/local/cuda/include 中查找 cuda.h，在/usr/lib64 中查找 libcuda.so。

   ./configure --with-cuda
   

2. 在/usr/local/cuda-v4.0/cuda/include 中搜索 cuda.h，在默认位置/usr/lib64 中搜索 libcuda.so。

   ./configure --with-cuda=/usr/local/cuda-v4.0/cuda
   

3. 在/usr/local/cuda-v4.0/cuda/include 中搜索 cuda.h，在/usr/lib64 中搜索 libcuda.so。 (与上一个相同)

   ./configure --with-cuda=/usr/local/cuda-v4.0/cuda --with-cuda-libdir=/usr/lib64
   

如果找不到 cuda.h 或 libcuda.so 文件，则配置将中止。

注意:Open MPI 1.7.2 中存在一个错误，如果您使用 --enable-static 配置库，将会出现错误。要解决此错误，请将以下内容添加到您的配置行并重新配置。这会禁用基本上未使用的 PML BFO 的构建。此错误已在 Open MPI 1.7.3 中修复。

--enable-mca-no-build=pml-bfo

Configuring Open MPI 1.7.3 and later

使用 Open MPI 1.7.3 及更高版本，libcuda.so 库是动态加载的，因此无需在配置时指定它的路径。因此，您只需要指向 cuda.h 头文件的路径即可。

1. 在默认位置搜索。在/usr/local/cuda/include 中查找 cuda.h。

   ./configure --with-cuda
   

2. 在/usr/local/cuda-v5.0/cuda/include 中搜索 cuda.h。

   ./configure --with-cuda=/usr/local/cuda-v5.0/cuda
   

请注意，您不能使用 --disable-dlopen 进行配置，因为这会破坏 Open MPI 库动态加载 libcuda.so 的能力。

见

this FAQ entry有关如何使用 CUDA 支持的详细信息。

请注意，这些说明假定您熟悉构建 OpenMPI。仅仅运行 ./configure ... 是不够的，之后还有 make 和 make install 步骤。但上述配置命令是区分 CUDA 感知 OpenMPI 构建与普通构建的区别。