mpi - 使用 MPI 合并所有等级的数组

Question

我在所有等级上都有一个相同长度的数组(假设为 10)。数组中的某些值包含处理器的等级。例如 ...

Proc 1: [1 0 0 0 0 1 0 0 0 1]

Proc 2: [0 2 2 0 0 0 0 2 2 0]

Proc 3: [0 0 0 3 3 0 3 0 0 0]

现在所有处理器以以下数组结尾的最有效方法是什么(使用 MPI-2)

[1 2 2 3 3 1 3 2 2 1]

它可以被认为是所有数组的总和(分布在所有等级上)。性能很重要，因为我想在 1K+ 内核上快速做到这一点。

Answer 1

这是可行的 MPI_Allreduce()与 MPI_SUM或 MPI_MAX运算符(operator)。参见 MPI_Allreduce 的文档.它应该以给定架构的最佳方式之一实现。

int arr_a[LEN], arr_b[LEN];
...
// Fill in arr_a
MPI_Allreduce(arr_a, arr_b, LEN, MPI_INT, MPI_SUM, MPI_COMM_WORLD);
// Result is now in arr_b

或者，如果内存不足，您可以使用就地操作，但这会损害性能:

MPI_Allreduce(MPI_IN_PLACE, arr_a, LEN, MPI_INT, MPI_SUM, MPI_COMM_WORLD);