c++ - MPI_Reduce 是否也做 MPI_Barrier 的工作？

Question

由于 MPI_Reduce 和 MPI_Barrier 是开销很大的命令，所以我不得不减少一些线程间的通信。我知道 MPI_Reduce 和 MPI_Barrier 的主要工作。有时我观察到 MPI_Reduce 正在减少一个线程中的所有值，同时它也在做 MPI_Barrier 的工作。是否有可能如果我必须使用 mpi_Reduce 那么我可以跳过 MPI_Barrier？

Answer 1

不，MPI_Reduce() 不会隐式执行 MPI_Barrier()。

也就是说，MPI_Allreduce()(具有非零大小数据)执行隐式 MPI_Barrier()，因此这可能适合您的算法。

我不太确定您所说的 MPI_Barrier() is a coSTLy operation 是什么意思。假设您有一个良好的互连，屏障本身应该很快，并且花费的大部分时间应该是由进程不平衡引起的。