c++ - 在 C++ 中使用 MPI_Gatherv() 和 MPI_Datatype 到 'gather' 动态分配的二维数组

Question

我认为描述问题的最简单方法是使用简单的代码。在每个处理器上，我都动态分配了“2D 数组”(通过 new*[rows]、new[cols] 形式实现，请参阅下面的代码进行说明)。无论对错，我都在尝试使用已提交的 MPI_Datatype 来帮助我执行 MPI_Gatherv() 以将所有数组收集到根处理器上的单个二维数组中。

这是代码，在它下面我突出显示了它的要点(如果编译和运行它应该很容易理解 - 它询问你想要的数组的维度):

#include <iostream>
#include <string>
#include <cmath>
#include <cstdlib>
#include <time.h>

#include "mpi.h" 


using namespace std;

// A function that prints out the 2D arrays to the terminal.
void print_2Darray(int **array_in,int dim_rows, int dim_cols) {
    cout << endl;
    for (int i=0;i<dim_rows;i++) {
        for (int j=0;j<dim_cols;j++) {
            cout << array_in[i][j] << " ";
            if (j==(dim_cols-1)) {
                cout << endl;
            }
        }
    }
    cout << endl;
}


int main(int argc, char *argv[]) {

    MPI::Init(argc, argv);


    // Typical MPI incantations...

    int size, rank;

    size = MPI::COMM_WORLD.Get_size(); 
    rank = MPI::COMM_WORLD.Get_rank();

    cout << "size = " << size << endl;
    cout << "rank = " << rank << endl;

    sleep(1);

    // Dynamically allocate a 2D square array of user-defined size 'dim'.

    int dim;
    if (rank == 0) {
        cout << "Please enter dimensions of 2D array ( dim x dim array ): ";
        cin >> dim;
        cout << "dim = " << dim << endl;
    }   

    MPI_Bcast(&dim,1,MPI_INT,0,MPI_COMM_WORLD);

    int **array2D;
    array2D = new int*[dim];
    for (int i=0; i<dim; i++) {
        array2D[i] = new int[dim](); // the extra '()' initializes to zero.
    }

    // Fill the arrays with i*j+rank where i and j are the indices.
    for (int i=0;i<dim;i++) {
        for (int j=0;j<dim;j++) {
            array2D[i][j] = i*j + rank;
        }
    }

    // Print out the arrays.
    print_2Darray(array2D,dim,dim);

    // Commit a MPI_Datatype for these arrays.
    MPI_Datatype MPI_ARRAYROW;
    MPI_Type_contiguous(dim, MPI_INT, &MPI_ARRAYROW);
    MPI_Type_commit(&MPI_ARRAYROW);

    // Declare 'all_array2D[][]' which will contain array2D[][] from all procs.
    int **all_array2D;
    all_array2D = new int*[size*dim];
    for (int i=0; i<size*dim; i++) {
        all_array2D[i] = new int[dim]();  // the extra '()' initializes to zero.
    }

    // Print out the arrays.
    print_2Darray(all_array2D,size*dim,dim);


    // Displacement vector for MPI_Gatherv() call.
    int *displace;
    displace = (int *)calloc(size,sizeof(int));
    int *dim_list;
    dim_list = (int *)calloc(size,sizeof(int));
    int j = 0;
    for (int i=0; i<size; i++) {
        displace[i] = j;
        cout << "displace[" << i << "] = " << displace[i] << endl;
        j += dim;
        dim_list[i] = dim;
    }

    // MPI_Gatherv call.
    MPI_Barrier(MPI_COMM_WORLD);
    MPI_Gatherv(array2D,dim,MPI_ARRAYROW,all_array2D,&dim_list[rank],&displace[rank],MPI_ARRAYROW,0,MPI_COMM_WORLD);

    // Print out the arrays.
    print_2Darray(all_array2D,size*dim,dim);

    MPI::Finalize();

    return 0;
}

代码可以编译，但会遇到段错误(我使用“mpic++”编译并使用“mpirun -np 2”来使用 2 个处理器):

[unknown-78-ca-39-b4-09-4f:02306] *** Process received signal ***
[unknown-78-ca-39-b4-09-4f:02306] Signal: Segmentation fault (11)
[unknown-78-ca-39-b4-09-4f:02306] Signal code: Address not mapped (1)
[unknown-78-ca-39-b4-09-4f:02306] Failing at address: 0x0
[unknown-78-ca-39-b4-09-4f:02306] [ 0] 2   libSystem.B.dylib                   0x00007fff844021ba _sigtramp + 26
[unknown-78-ca-39-b4-09-4f:02306] [ 1] 3   ???                                 0x0000000000000001 0x0 + 1
[unknown-78-ca-39-b4-09-4f:02306] [ 2] 4   gatherv2Darrays.x                   0x00000001000010c2 main + 1106
[unknown-78-ca-39-b4-09-4f:02306] [ 3] 5   gatherv2Darrays.x                   0x0000000100000a98 start + 52
[unknown-78-ca-39-b4-09-4f:02306] *** End of error message ***
mpirun noticed that job rank 0 with PID 2306 on node unknown-78-ca-39-b4-09-4f.home exited on signal 11 (Segmentation fault). 
1 additional process aborted (not shown)

在代码末尾附近执行“print_2Darray(all_array2D,size*dim,dim)”函数时发生段错误，其中“all_array2D”“应该”包含收集的数组。更具体地说，代码似乎为从主处理器收集的位打印“all_array2D”OK，但当 print_2Darray() 函数开始处理来自其他处理器的位时，会给出段错误。

代码要点:

1. 我声明了一个 MPI_Datatype，它是一个连续的内存块，其大小足以存储二维数组的一行。然后，我使用 MPI_Gatherv() 尝试收集这些行。
2. 代码的 sleep(1) 调用只是为了帮助用户更清楚地看到“dims”提示，否则它会被埋在“size”和“rank”cout 之间。
3. 二维数组的元素被初始化为值“i*j + rank”，其中 i 和 j 分别是行和列索引。我的理由是，生成的数字很容易泄露生成该数组的处理器的等级。

我想这归结为我不知道 MPI_Gatherv() 动态分配数组的正确方式......我应该使用 MPI_Datatypes 吗？动态分配数组对我来说非常重要。

如果有任何帮助/建议，我将不胜感激!我几乎没有想法了!

Answer 1

MPI_Gatherv、MPI_Scatterv，实际上所有其他采用数组参数的 MPI 通信调用，都希望数组元素在内存中连续排列。这意味着在调用 MPI_Gatherv(array2D, dim, MPI_ARRAYROW, ...) 时，MPI 期望 MPI_ARRAYROW 类型的第一个元素从 的内存位置开始>array2D 指向，第二个元素开始于(BYTE*)array2D + extent_of(MPI_ARRAYROW)，第三个元素开始于(BYTE*)array2D + 2*extent_of( MPI_ARRAYROW)，等等。这里的extent_of()是MPI_ARRAYROW类型的范围，可以通过调用MPI_Type_get_extent获取。

很明显，二维数组的行在内存中不是连续的，因为它们中的每一行都是通过单独调用 new 运算符分配的。此外，array2D 不是指向数据的指针，而是指向指向每一行的指针的 vector 的指针。这在 MPI 中不起作用，StackOverflow 上有无数其他问题，其中讨论了这个事实 - 只需搜索 MPI 2D 并亲自查看。

解决方案是使用一大块单独分配的内存块和伴随的掺杂 vector - 参见 this question以及答案中提到的 arralloc() 函数。