c - 结构体数组中每个元素的 mpi 通信器

Question

我是 MPI 新手，不确定这是否是正确的方法。或者，如果我应该以这种方式使用 MPI 但我的问题如下:

我有一个指向用户定义结构的指针数组。根据每个进程中发生的情况，数组的元素可能是 NULL，也可能是指向用户定义结构实例的指针。我现在需要数组的元素通过 MPI 相互通信。这是有问题的，因为其中一些不存在。

我应该详细说明:该结构有一个函数指针，指向需要进行通信的函数。如果该元素存在，则调用该函数。如果没有，就不会。

我的想法:为数组的每个元素创建一个专用的 MPI 通信器，其中包括该元素不为 NULL 的所有处理器。然后在通信过程中引用该通信器来获取相应的元素。

我可以创建一个 MPI 通信器“数组”，数组的每个元素一个？然后为每个元素引用 MPI_COMM_ARRAY[i] ？或者我完全陷入了死胡同，根本不应该使用 NULL 作为数组条目？编码的“干净”方式是什么？

这是我现在所拥有的的简化。如果细胞偶然存在于所有进程中，它就会起作用。如果他们不这样做，它就会失败。示例代码:

#include <stdio.h> 
#include <stdlib.h>
#include <mpi.h>


void * createcell();
void Cell_givenumberofvertices(void * _self, int * NbOfVertices);
void Cell_givenumberofvertices_parallel(void * _self, int * NbOfVertices);
void Cell_addvertex(void * _self);
void addvertex(void * _self);
void getnumberofvertices(void * _self, int * NbOfVertices);


struct Cell{
  unsigned NbOfVertices;
  void (* givenumberofvertices)(void * _self, int * NbOfVertices);
  void (* addvertex)(void * _self);
};

void * createcell(){
  struct Cell * self = calloc(1, sizeof(struct Cell));
  int world_size;

  MPI_Comm_size(MPI_COMM_WORLD,&world_size);

  self->NbOfVertices = 0;
  self->addvertex = Cell_addvertex;

  if(world_size==0) self->givenumberofvertices = Cell_givenumberofvertices;
  else self->givenumberofvertices = Cell_givenumberofvertices_parallel;

  return self;
}

void Cell_givenumberofvertices(void * _self, int * NbOfVertices){
   struct Cell * self = _self;
   * NbOfVertices = self->NbOfVertices;
   return;
}

void Cell_givenumberofvertices_parallel(void * _self, int * NbOfVertices){
  struct Cell * self = _self;
  int world_size, world_rank;
  int i;
  int * NbVertxOnProcess;
  int totalnumberofvertices=0;

  MPI_Comm_size(MPI_COMM_WORLD,&world_size);
  MPI_Comm_rank(MPI_COMM_WORLD,&world_rank);
  NbVertxOnProcess = (int *) malloc(world_size*sizeof(int));

  MPI_Gather(&(self->NbOfVertices),1,MPI_UNSIGNED,NbVertxOnProcess,1,MPI_INT,0,MPI_COMM_WORLD);

  for(i=0;i<world_size;i++) totalnumberofvertices+=NbVertxOnProcess[i];

   * NbOfVertices = totalnumberofvertices;
   return;
}

void Cell_addvertex(void * _self){
  struct Cell * self = _self;
  self->NbOfVertices ++;
  return;
}

 void addvertex(void * _self){
   struct Cell * self = _self;
   self->addvertex(self);
 }

 void getnumberofvertices(void * _self, int * NbOfVertices){
  struct Cell * self = _self;
  self->givenumberofvertices(self, NbOfVertices);
 }  



int main(int argc, char *argv[]) {
  void ** cells;
  int i,j;
  const int numberofcells = 100;
  const int numberofvertices = 100;
  const float domainlength = 115.4;
  float grid[numberofcells];
  float vertexcoordinates[numberofvertices];
  int world_rank;

  MPI_Init(NULL,NULL);

  /* create array of Cell pointers */
  cells = (void **) calloc(numberofcells,sizeof(void *));

  /* create grid */
  for(i=0;i<numberofcells;i++){
    grid[i]=domainlength/numberofcells*(i+1);
  }
  /* generate random vertex coordinates */
  MPI_Comm_rank(MPI_COMM_WORLD,&world_rank);
  srand((unsigned int) world_rank);
  for(i=0;i<numberofvertices;i++){
    vertexcoordinates[i]=((float)rand()/(float)(RAND_MAX)) * domainlength;
  }
  /* find the cell the vertex is in */
  for(i=0;i<numberofvertices;i++){
    for(j=0;j<numberofcells;j++){
      float lb, ub;
      if(j==0) lb=0.0;
      else lb=grid[j-1];
      ub = grid[j];
      if(lb<vertexcoordinates[i]&&vertexcoordinates[i]<ub){
         if(!cells[j]){
          cells[j]=createcell();
         }
        addvertex(cells[j]);
      }
    }
  }

  for(i=0;i<numberofcells;i++){
     if(cells[i]){
      int NbVertxInCell;
      getnumberofvertices(cells[i], &NbVertxInCell);
      printf("%i vertices in cell number %i \n",NbVertxInCell,i);
    }
  }
  MPI_Finalize();
  return 0;
}

Answer 1

我仍然不明白你想要实现什么目标，也不明白这种设计的理由。

无论如何，这里有一些想法。

首先，请注意，在调用集体操作时，通信器中的所有任务都应该调用它，否则某些任务可能会挂起。

其次，在 Cell_givenumberofvertices_parallel() 中，您可以将 MPI_Gather() 替换为 MPI_Reduce()。由于主循环打印了所有等级，我相信您确实想要 MPI_Allreduce()

我还怀疑您想向 struct Cell 添加一个 MPI_Comm * comm 字段，否则，并非所有等级都会调用 MPI_COMM_WORLD 上的集合，并且该集合将会挂起。

第三，我认为不需要指针函数。

如果一个单元仅执行一项任务，则通信应为 MPI_COMM_SELF，并且您可以使用 MPI_Allreduce()，因此不需要两个子例程。

最后但并非最不重要的一点是，我不知道该函数如何随着时间的推移返回不同的值，因此可以在初始化时计算顶点总数，并将其存储为新字段。

例如，这可能是

struct Cell{
  unsigned localNbOfVertices;
  unsigned totalNbOfVertices;
  MPI_Comm comm;
};

在你的主循环中，你可以

  for(i=0;i<numberofcells;i++){
     unsigned local=0, total;
     MPI_Comm comm;
     if(cells[i]) local=cells[i]->localNbOfVertices;
     MPI_Allreduce(&local, &total, 1, MPI_UNSIGNED, MPI_SUM, MPI_COMM_WORLD);
     if(cells[i] cells[i]->totalNbOfVertices = total;
     printf("%i vertices in cell number %i \n",total,i);
     if(cells[i]) MPI_Comm_split(MPI_COMM_WORLD, 0, world_rank, &cells[i]->comm); else MPI_Comm_split(MPI_COMM_WORLD, MPI_UNDEFINED, world_rank, &comm);
  }