c - 通过创建MPI驱动的数据类型来发送包含void *的typedef结构。

Question

我了解研究MPI规范的是
MPI发送原语是指要发送的数据所指向的内存位置（或发送缓冲区）
并从该位置获取数据，然后将其作为消息传递给另一个进程。

虽然确实是给定进程的虚拟地址在另一个进程的内存地址中是没有意义的；
可以发送指针（如void指针）指向的数据，因为MPI将以任何方式将数据本身作为消息传递

例如，以下内容可以正常工作：

    // Sender Side.
    int x = 100;
    void* snd;
    MPI_Send(snd,4,MPI_BYTE,1,0,MPI_COMM_WORLD);   

    // Receiver Side.
    void* rcv;
    MPI_Recv(rcv, 4,MPI_BYTE,0,0,MPI_COMM_WORLD); 

但是，当我在结构中添加void * snd并尝试发送该结构时，此操作将不会成功。

我不明白为什么前面的示例可以正常工作，但后面的却不能。

在这里，我定义了一个typedef结构，然后从中创建一个MPI_DataType。
通过以上相同的解释，以下内容也应会成功，
不幸的是，它无法正常工作。

这是代码：

    #include "mpi.h"
    #include<stdio.h>

    int main(int args, char *argv[])
    {
        int rank, source =0, tag=1, dest=1;
        int bloackCount[2];

        MPI_Init(&args, &argv);

        typedef struct {
            void* data;
            int tag; 
        } data;

        data myData;    

        MPI_Datatype structType, oldType[2];
        MPI_Status stat;

        /* MPI_Aint type used to idetify byte displacement of each block (array)*/      
        MPI_Aint offsets[2], extent;
        MPI_Comm_rank(MPI_COMM_WORLD, &rank);


        offsets[0] = 0;
        oldType[0] = MPI_BYTE;
            bloackCount[0] = 1;

        MPI_Type_extent(MPI_INT, &extent);

        offsets[1] = 4 * extent;  /*let say the MPI_BYTE will contain ineteger :         size of int * extent */
        oldType[1] = MPI_INT;
        bloackCount[1] = 1;

        MPI_Type_create_struct(2, bloackCount,offsets,oldType, &structType);
        MPI_Type_commit(&structType);


        if(rank == 0){
    int x = 100;
    myData.data = &x;
    myData.tag = 99;
    MPI_Send(&myData,1,structType, dest, tag, MPI_COMM_WORLD);
}
if(rank == 1 ){ 
    MPI_Recv(&myData, 1, structType, source, tag, MPI_COMM_WORLD, &stat);
          // with out this the following printf() will properly print the value 99 for 
          // myData.tag
    int x = *(int *) myData.data;
    printf(" \n Process %d, Received : %d , %d \n\n", rank , myData.tag, x); 
    }   
       MPI_Type_free(&structType);             
       MPI_Finalize();
    }

运行代码的错误消息：
[好像我在第二个过程中试图访问无效的内存地址空间]

    [ubuntu:04123] *** Process received signal ***
    [ubuntu:04123] Signal: Segmentation fault (11)
    [ubuntu:04123] Signal code: Address not mapped (1)
    [ubuntu:04123] Failing at address: 0xbfe008bc
    [ubuntu:04123] [ 0] [0xb778240c]
    [ubuntu:04123] [ 1] GenericstructType(main+0x161) [0x8048935]
    [ubuntu:04123] [ 2] /lib/i386-linux-gnu/libc.so.6(__libc_start_main+0xf3)         [0xb750f4d3]
    [ubuntu:04123] [ 3] GenericstructType() [0x8048741]
    [ubuntu:04123] *** End of error message ***

可以请我解释一下为什么它不起作用。
任何建议也将不胜感激

谢谢，

Answer 1

// Sender Side.
int x = 100;
void* snd;
MPI_Send(snd,4,MPI_BYTE,1,0,MPI_COMM_WORLD);

// Receiver Side.
void* rcv;
MPI_Recv(rcv, 4,MPI_BYTE,0,0,MPI_COMM_WORLD);

我不明白为什么前面的示例可以正常工作，但后面的却不能。


它起作用（当然，必须为 snd和 rcv分配有意义的内存位置作为值），因为 MPI_Send和 MPI_Recv接受数据位置的地址，并且 snd和 rcv都是指针，即它们的值就是这样的地址。例如， MPI_Send行不是发送指针本身的值，而是从snd指向的位置开始的4个字节。对 MPI_Recv的调用和 rcv的用法也是如此。为了发送指针的值而不是指针指向的值，您必须使用：

MPI_Send(&snd, sizeof(void *), MPI_BYTE, ...);

这将从发送指针值的地址开始发送 sizeof(void *)字节。除非在某些超级特殊情况下，否则这将毫无意义。

为什么第二个示例不起作用？ MPI不是魔术师，它无法识别内存的一部分包含指向另一个内存块的指针并跟随该指针。也就是说，在构造结构化数据类型时，无法告诉MPI结构的第一个元素实际上是指针，并使其读取该指针指向的数据。换句话说，您必须执行显式数据编组-构造和中间缓冲区，其中包含由 data.data指向的内存区域的副本。此外，您的数据结构不包含有关 data指向的存储区域的长度的信息。

请注意一些非常重要的内容。所有MPI数据类型都有一个称为类型映射的类型。类型映射是一个元组列表，其中每个元组（也称为类型签名）的形式为 (basic_type, offset)，其中 basic_type是原始语言类型，例如 char， int， double等，并且 offset是相对于缓冲区开头的偏移量。 MPI的一个特殊功能是偏移量也可以是负数，这意味着 MPI_Send（或 MPI_Recv或任何其他通信函数）的参数实际上可能指向存储区的中间，作为数据源。发送数据时，MPI会遍历类型映射，并相对于提供的数据缓冲区地址，从对应的 basic_type中获取一个类型为 offset的元素。内置MPI数据类型仅具有一个条目的类型映射，其偏移量为 0，例如：

MPI_INT      -> (int, 0)
MPI_FLOAT    -> (float, 0)
MPI_DOUBLE   -> (double, 0)

MPI中不存在任何数据类型，这可以使其派生一个指针并采用它指向的值而不是指针值本身。

offsets[0] = 0;
oldType[0] = MPI_BYTE;
blockCount[0] = 1;

MPI_Type_extent(MPI_INT, &extent);

offsets[1] = 4 * extent;
oldType[1] = MPI_INT;
blockCount[1] = 1;

MPI_Type_create_struct(2, blockCount, offsets, oldType, &structType);

此代码创建具有以下类型映射的MPI数据类型（假定 int为4个字节）：

{(byte, 0), (int, 16)}

当作为 MPI_Send的类型参数提供时，它将指示MPI库从数据缓冲区的开头开始获取一个字节，然后获取位于数据缓冲区的开头之后16个字节处的整数值。尽管缓冲区的范围是20个字节，但该消息的总长度为5个字节。

offsets[0] = offsetof(data, data);
oldType[0] = MPI_CHAR;
blockCount[0] = sizeof(void *);

offsets[1] = offsetof(data, tag);
oldType[1] = MPI_INT;
blockCount[1] = 1;

MPI_Type_create_struct(2, blockCount, offsets, oldType, &structType);

这段代码取自Greg Inozemtsev的答案，它创建了一个具有以下类型映射的数据类型（假定具有32位宽点和零填充的32位计算机）：

{(char, 0), (char, 1), (char, 2), (char, 3), (int, 4)}

(char, x) typesigs的数量等于 sizeof(void *)（假设为4）。如果用作数据类型，它将从缓冲区的开头开始占用4个字节（即指针的值，地址，而不是它指向的实际int！），然后从缓冲区开始之后的4个字节开始获取一个整数。开始，即结构中 tag字段的值。再一次，您将发送指针的地址，而不是该指针指向的数据。

MPI_CHAR和 MPI_BYTE之间的区别在于，没有类型转换应用于类型为 MPI_BYTE的数据。这仅在异构环境中运行MPI代码时才有意义。使用 MPI_CHAR库可以执行数据转换，例如将每个字符从ASCII转换为EBCDIC字符集，反之亦然。在这种情况下使用 MPI_CHAR是错误的，但是在异构环境中发送指针甚至会更加错误，因此不必担心;）

有鉴于此，如果我是你，我将考虑suszterpatt提出的解决方案。



对于显式数据编组，有两种可能的情况：

方案1.由 data.data指向的每个数据项的大小都是恒定的。在这种情况下，您可以通过以下方式构造结构数据类型：

typedef struct {
   int tag;
   char data[];
} data_flat;

// Put the tag at the beginning
offsets[0] = offsetof(data_flat, tag);
oldType[0] = MPI_INT;
blockCount[0] = 1;

offsets[1] = offsetof(data_flat, data);
oldType[1] = MPI_BYTE;
blockCount[1] = size of the data;

MPI_Type_create_struct(2, blockCount, offsets, oldType, &structType);
MPI_Type_commit(&structType);

然后像这样使用它：

// --- Sender ---

// Make a temporary buffer to hold the data
size_t total_size = offsetof(data_flat, data) + size of the data;
data_flat *temp = malloc(total_size);

// Copy data structure content into the temporary flat structure
temp->tag = data.tag;
memcpy(temp->data, data.data, size of the data);

// Send the temporary structure
MPI_Send(temp, 1, structType, ...);

// Free the temporary structure
free(temp);

您可能也不会释放临时存储，而是将其重用于 data结构的其他实例（因为假设它们都指向相同大小的数据）。接收方为：

// --- Receiver ---

// Make a temporary buffer to hold the data
size_t total_size = offsetof(data_flat, data) + size of the data;
data_flat *temp = malloc(total_size);

// Receive into the temporary structure
MPI_Recv(temp, 1, structType, ...);

// Copy the temporary flat struture into a data structure
data.tag = temp->tag;
data.data = temp->data;
// Do not free the temporary structure as it contains the actual data

方案2。每个数据项可能具有不同的大小。这涉及更多，并且很难通过便携式方式完成。如果速度不是您最关心的问题，则可以通过两条不同的消息发送数据以实现最大的可移植性。 MPI保证保留使用相同信封 (source, destination, tag, communicator)发送的邮件的顺序。



您还可以通过以下方式实现suszterpatt提出的建议（假设您的标签在允许的范围内）：

// --- Send a structure ---
MPI_Send(data.data, size of data, MPI_BYTE, dest, data.tag, MPI_COMM_WORLD);

// --- Receive a structure ---
MPI_Status status;
MPI_Aint msg_size;
// Peek for a message, allocate big enough buffer
MPI_Probe(source, MPI_ANY_TAG, &status);
MPI_Get_count(&status, MPI_BYTE, &msg_size);
uint8_t *buffer = malloc(msg_size);
// Receive the message
MPI_Recv(buffer, (int)msg_size, MPI_BYTE, source, status.MPI_TAG,
         MPI_COMM_WORLD, MPI_STATUS_IGNORE);
// Fill in a data structure
data.tag = status.MPI_TAG;
data.data = buffer;