mpi - 并行计算中处理器和进程的区别？

Question

每次我遇到类似“ process 0 do x task ”之类的东西时，我倾向于认为它们的意思是处理器 .

在阅读了更多关于它的内容后，我发现有两种内存分类，共享内存和分布式内存:
共享内存执行类似于线程的操作(意味着所有处理器都可以使用相同的数据 - 因此将其称为进程是有意义的)但是，即使对于分布式内存，它也被称为 流程而不是处理器。例如:“进程 0 正在计算部分点积”

为什么会这样？为什么它被称为进程而不是处理器？

附注。我希望这个问题不是微不足道的:)

Answer 1

这些其他答案都很到位。处理器是物理的，进程是软件的。因此，四核 CPU 将有 4 个处理器，但可以运行更多进程。

不过，您对分布式术语的困惑是公平的。在分布式计算中，通常执行 X 个进程的数量等于硬件处理器的数量。在这种情况下，每个进程都会在软件中获得一个 ID，通常称为等级。 Rank独立于处理器，不同的Rank会有不同的任务。因此，当您报告状态时，信息与进程等级有关，而不是与物理处理器有关。

换句话说，在分布式计算中，通常每个处理器上运行一个进程。进程将有一个唯一的 id，它在软件中比运行它的物理处理器更重要，因此提供了有关进程的状态信息。由于进程和处理器的数量相等，这种区别可能会变得有点模糊。