c - 使用 MPI_Scatter 发送矩阵的列

Question

我正在尝试使用 MPI 编写矩阵 vector 乘法程序。我正在尝试将矩阵的列发送到单独的进程并在本地计算结果。最后，我使用 MPI_SUM 操作执行了 MPI_Reduce。

发送矩阵的行很容易，因为 C 以行优先顺序存储数组，但列则不然(如果您不一一发送)。我在这里阅读了问题:

MPI_Scatter - sending columns of 2D array

Jonathan Dursi 建议使用新的 MPI 数据类型，这是我根据自己的需要调整他的代码所做的:

  double matrix[10][10];
  double mytype[10][10];
  int part_size; // stores how many cols a process needs to work on
  MPI_Datatype col, coltype;
  // ...
  MPI_Type_vector(N, 1, N, MPI_DOUBLE, &col);
  MPI_Type_commit(&col);
  MPI_Type_create_resized(col, 0, 1*sizeof(double), &coltype);
  MPI_Type_commit(&coltype);
  // ...
  MPI_Scatter(matrix, part_size, coltype,
              mypart, part_size, coltype,
              0, MPI_COMM_WORLD);

  // calculations...
  MPI_Reduce(local_result, global_result,
             N, MPI_DOUBLE,
             MPI_SUM,
             0, MPI_COMM_WORLD);

这很完美，但我不能说我真的理解它是如何工作的。

1. MPI_Type_vector 是如何存储在内存中的？
2. MPI_Type_create_resized() 是如何工作的，它究竟有什么作用？

请记住，我是 MPI 的初学者。提前致谢。

Answer 1

在 my answer 中对此问题有很长的描述。至 this question :很多人都有这些问题的事实证明它并不明显，而且这些想法需要一些时间来适应。

重要的是要了解 MPI 数据类型描述的内存布局。 MPI_Type_vector 的调用顺序是:

int MPI_Type_vector(int count,
                   int blocklength,
                   int stride, 
                   MPI_Datatype old_type,
                   MPI_Datatype *newtype_p)

它创建了一个描述内存布局的新类型，其中每个 stride项目，有一 block blocklength元素拉出来，一共count这些 block 。这里的项目以 old_type 为单位曾是。因此，例如，如果您调用(在此处命名参数，这在 C 中实际上是做不到的，但是:)

 MPI_Type_vector(count=3, blocklength=2, stride=5, old_type=MPI_INT, &newtype);

然后newtype会像这样描述内存中的布局:

   |<----->|  block length

   +---+---+---+---+---+---+---+---+---+---+---+---+---+---+---+
   | X | X |   |   |   | X | X |   |   |   | X | X |   |   |   |
   +---+---+---+---+---+---+---+---+---+---+---+---+---+---+---+

   |<---- stride ----->|

   count = 3

其中每个方 block 是一个整数大小的内存块，大概是 4 个字节。请注意，步幅是从一个 block 的开始到下一个 block 的开始的整数距离，而不是 block 之间的距离。

好的，所以在你的情况下你打电话

  MPI_Type_vector(N, 1, N, MPI_DOUBLE, &col);

需要count = N block ，每个大小为 blocklength=1 MPI_DOUBLE s，在每个 block 的开始之间有一个空格 stride=N MPI_DOUBLE秒。换句话说，每 N 次加倍，总共 N 次；非常适合从(连续存储的)NxN double 组中提取一列。一个方便的检查是查看跨越了多少数据(count*stride = N*N，这是矩阵的完整大小，检查)以及实际包含了多少数据(count*blocksize = N，这是一列的大小，检查。 )

如果您所要做的只是调用 MPI_Send 和 MPI_Recv 来交换各个列，那么您就完成了；你可以使用这种类型来描述列的布局，你会没事的。但还有一件事。

您想调用 MPI_Scatter ，它将第一个 coltype(比如说)发送到处理器 0，下一个 coltype 发送到处理器 1，等等。如果您使用简单的一维数组执行此操作，则很容易找出“下一个”数据类型的位置；如果您将 1 个 int 分散到每个处理器，则“下一个”int 在第一个 int 结束后立即开始。

但是您的新 coltype 列总共有 extent从列的开头到 N*N MPI_DOUBLE稍后——如果 MPI_Scatter 遵循相同的逻辑(确实如此)，它将开始完全在矩阵内存之外寻找“下一”列，依此类推。您不仅得不到想要的答案，而且程序可能会崩溃。

解决这个问题的方法是告诉 MPI，为了计算“下一个”数据所在的位置，此数据类型的“大小”是内存中一列开始位置和下一列开始位置之间的大小；也就是说，只有一个 MPI_DOUBLE .这不会影响发送的数据量，它仍然是 1 列数据；它只影响“下一个”计算。对于数组中的列(或行)，您只需将此大小发送到内存中的适当步长，MPI 将选择正确的下一列进行发送。如果没有这个调整大小运算符，您的程序可能会崩溃。

当你有更复杂的数据布局时，比如在上面链接的二维数组示例的二维 block 中，那么“下一个”项目之间没有一个单一的步长；你仍然需要做一些调整大小的技巧来使大小成为一些有用的单位，但是你需要使用 MPI_Scatterv而不是分散以明确指定要发送的位置。