c - MPI_Sendrecv 在 3 个以上的进程上死锁

Question

尝试进行“halo/ghost”行交换时，我被死锁难住了(在图片下方的代码片段中)。要交换的“光环”行表示为深灰色线(在图片中)以及 hp[0] 和 hp[M-1](在代码)。

[不能发图片；声望不够。再次换句话说:hp[0] 和 hp[M-1] 是“光环”行(即要交换的行)，而 hp[1] 和 hp[M-2](以及中间的所有行)都将用它来计算。]

为什么此代码段(适用于 2 个进程)会与 3 个以上的进程发生死锁？

// in-between processes ("P1" and "P2" in the picture; 
// one of "P1" and "P2" is of course missing in the case of 3 processes)
if (p > 0 && p < P-1) 
{ 
    MPI_Sendrecv(hp[M-2], N, MPI_DOUBLE, p+1, 0, 
                 hp[0],   N, MPI_DOUBLE, p-1, 0, MPI_COMM_WORLD, &s);  
    MPI_Sendrecv(hp[1],   N, MPI_DOUBLE, p-1, 1, 
                 hp[M-1], N, MPI_DOUBLE, p+1, 1, MPI_COMM_WORLD, &s);  
}
// root process ("P0" in the picture)
else if (p == 0) 
{
    MPI_Sendrecv(hp[M-2], N, MPI_DOUBLE, p+1, 0, 
                 hp[M-1], N, MPI_DOUBLE, p+1, 1, MPI_COMM_WORLD, &s);  
}
// last process ("P3" in the picture)
else 
{
    MPI_Sendrecv(hp[1],   N, MPI_DOUBLE, p-1, 1, 
                 hp[0],   N, MPI_DOUBLE, p-1, 0, MPI_COMM_WORLD, &s); 
}

平台:Windows XP DeinoMPI具有按钮 “显示消息” 的 GUI，“中断正在运行的作业并打印消息队列的当前状态”

好吧，这是一个“当前状态”的例子(当处于死锁状态时):

Rank 0 queues:
 Posted receive queue:
  rank=2, tag=1, context_id=1(Collective), count=0, dtype=MPI_BYTE
Rank 1 queues:
 Posted receive queue:
  rank=0, tag=0, context_id=MPI_COMM_WORLD, count=10, dtype=MPI_DOUBLE
 Received but unmatched queue:
  rank=2, tag=2, context_id=MPI_COMM_WORLD, length=80
  rank=2, tag=2, context_id=MPI_COMM_WORLD, length=80
  rank=0, tag=1, context_id=1(Collective), length=0
Rank 2 queues:
 Posted receive queue:
  rank=1, tag=1, context_id=MPI_COMM_WORLD, count=10, dtype=MPI_DOUBLE

为什么有 MPI_BYTE 作为数据类型和 1(Collective) 作为上下文？为什么 Rank 0 在他的接收队列中有 rank = 2？!

PS:请原谅我问(或遗漏)了一些显而易见的问题，但我已经阅读了太多 SO 问题，可惜找不到解决方案。太多了，以至于我知道 Jonathan Dursi、High Performance Mark 和 suszterpatt 的 HPC 三人组。

更新(完整循环)

循环没有更多内容，所以我可以完整地发布它:它有一些评论 MPI_Barrier这是因为我在随机尝试哪种组合会起作用(谈论“黑匣子”)。因此，除了那些 MPI_Barrier(以及循环之前的 MPI_Sccaterv)之外，没有任何其他通信正在进行。出于测试目的，我在循环之后的 MPI_Gatherv 之前执行了一个 return 0;(因此这应该也没有死锁影响)。

while (1)
{
    difference = 0.0;

    //MPI_Barrier(MPI_COMM_WORLD);

    // in-between processes ("P1" and "P2" in the picture; 
    // one of "P1" and "P2" is of course missing in the case of 3 processes)
    if (p > 0 && p < P-1) 
    { 
        MPI_Sendrecv(hp[M-2], N, MPI_DOUBLE, p+1, 0, 
                     hp[0],   N, MPI_DOUBLE, p-1, 0, MPI_COMM_WORLD, &s);  
        MPI_Sendrecv(hp[1],   N, MPI_DOUBLE, p-1, 1, 
                     hp[M-1], N, MPI_DOUBLE, p+1, 1, MPI_COMM_WORLD, &s);  
    }
    // root process ("P0" in the picture)
    else if (p == 0) 
    {
        MPI_Sendrecv(hp[M-2], N, MPI_DOUBLE, p+1, 0, 
                     hp[M-1], N, MPI_DOUBLE, p+1, 1, MPI_COMM_WORLD, &s);  
    }
    // last process ("P3" in the picture)
    else 
    {
        MPI_Sendrecv(hp[1],   N, MPI_DOUBLE, p-1, 1, 
                     hp[0],   N, MPI_DOUBLE, p-1, 0, MPI_COMM_WORLD, &s); 
    }
    //MPI_Barrier(MPI_COMM_WORLD);

    // calculate "hpNEW" for each inner point
    for (y = 1; y < M-1; ++y)
        for (x = 1; x < N-1; ++x)
        {
            hpNEW[y][x] = (hp[y][x-1] + hp[y][x+1] + hp[y-1][x] + hp[y+1][x]) / 4.0;
            if (fabs( hpNEW[y][x] - hp[y][x] ) > diff)
                difference = fabs(hpNEW[y][x] - hp[y][x]);
        }

    if (difference < EPSILON)
        break;

    // transfer "hpNEW"'s calculated inner points to "hp" for next iteration 
    for (y = 1; y < M-1; ++y)
        for (x = 1; x < N-1; ++x)
            hp[y][x] = hpNEW[y][x];
} // while END

一个进程确实会首先 break 退出循环......这会/可能会导致死锁(以及我不知道的其他可能情况)？如果是这样，如何预防？

关于“奇怪的”标签的另一件事。我刚刚运行了上面的循环，所有的 MPI_Barrier 都被注释掉了……并得到了这个“奇怪的”(有一个 tag=4!)消息队列状态:

Rank 0 queues:
 Posted receive queue:
  rank=1, tag=4, context_id=1(Collective), count=30, dtype=MPI_DOUBLE
 Received but unmatched queue:
  rank=2, tag=1, context_id=1(Collective), length=0
Rank 1 queues:
 Posted receive queue:
  rank=0, tag=0, context_id=MPI_COMM_WORLD, count=10, dtype=MPI_DOUBLE
 Received but unmatched queue:
  rank=2, tag=1, context_id=MPI_COMM_WORLD, length=80
Rank 2 queues:
 Posted receive queue:
  rank=1, tag=1, context_id=1(Collective), count=0, dtype=MPI_BYTE

Answer 1

还有其他人，我们只是最近活跃的...

Windows 上的 DeinoMPI 很有趣，我没有意识到它有很好的工具来实时查看发生了什么。

所以您绝对不是在问明显的问题；从表面上看，我认为您发布的代码没有任何问题。我个人觉得使用MPI_PROC_NULL之类的东西来简化代码逻辑会更清晰:

left = p-1;
if (left < 0) left = MPI_PROC_NULL;
right = p+1;
if (right >= P) right = MPI_PROC_NULL;

MPI_Sendrecv(hp[M-2], N, MPI_DOUBLE, right, 0, 
             hp[0],   N, MPI_DOUBLE, left , 0, MPI_COMM_WORLD, &s);  
MPI_Sendrecv(hp[1],   N, MPI_DOUBLE, left , 1, 
             hp[M-1], N, MPI_DOUBLE, right, 1, MPI_COMM_WORLD, &s);  

并让 MPI 库处理边缘情况，而不是进行显式测试 if (p == 0) 等；但这是一个品味问题，也是您之后要如何处理代码的问题。

消息队列中的情况非常困惑，我认为您发布的代码不是造成死锁的原因，尽管它可能是(比方说)排名 1 最终出现死锁的地方——它可能是可以看到等级 1 挂起。

如果你看看发生了什么，等级 1 正在等待等级 0 的 10 个 double ，等级 2 正在等待等级 1 的 10 个 double ，所以这就像你的光环填充的向右发送阶段 -- 1 和2 已经发布了他们各自在该阶段的接收——除了 2 的标签是错误的，它收到了 10 个带有标签 1 的 double ，这不应该发生(通过上面的代码)。

最重要的是，等级 0 正在等待该集合完成(与之关联的数据为零——可能是一个障碍？或者 MPI_Finalize 或其他具有隐含同步的东西？)因此不会发送到 1 ;等级 1 已经有一条消息作为该集体的一部分，因此如果它完成，它会立即清除它并使其成为该集体的一部分。它还有两条来自等级 2 的消息，标签为 2？因此，这必须来自当前代码片段之外的另一个通信阶段。

只是根据我在队列中看到的内容进行猜测，我猜代码是这样的:

loop { 
    communication as posted above;

    another phase of communication;

    synchronization (barrier?)
}

第二阶段的沟通有一个微妙的错误。

更新:

好的，所以在不同时间退出循环的进程肯定会导致锁定，因为进程开始等待永远不会来自其邻居的消息。但这很容易解决；在本地计算出最大差异后，您可以找到具有 MPI_Allreduce 的处理器之间的最大差异。 ;只有当 hp 和 hpNEW 之间的全局差异处处都小于 EPSILON 时，您才会继续。

// calculate "hpNEW" for each inner point locally
for (y = 1; y < M-1; ++y)
    for (x = 1; x < N-1; ++x)
    {
        hpNEW[y][x] = (hp[y][x-1] + hp[y][x+1] + hp[y-1][x] + hp[y+1][x]) / 4.0;
        if (fabs( hpNEW[y][x] - hp[y][x] ) > diff)
            diff = fabs(hpNEW[y][x] - hp[y][x]);
    }

// find the maximum of all the local differences

MPI_Allreduce (&diff, &globaldiff, 1, MPI_DOUBLE, MPI_MAX, MPI_COMM_WORLD);

if (globaldiff < EPSILON)
    break;