parallel-processing - 在 UMA 机器上使用 MPI 的优势

Question

在 UMA 机器上使用 MPI 有什么优势。在我看来，将 OpenMP 与 UMA 机器一起使用会更有意义，因为它们共享内存。 MPI 在 NUMA 机器上更有意义，因为 NUMA 为每个进程提供了自己的内存。

Answer 1

即使在名义上统一的共享内存硬件上使用 MPI 或 Charm++ 等分布式内存编程模型的值(value)在于，它会产生更加注重局部性的算法和实现设计。即使对于单个内核，内存访问成本也是不均匀的——空间和时间局部性的假设深深地融入了常见微处理器内存层次结构的设计中。为分布式内存设计还意味着设计为对本地数据 block 进行操作，而不是一次对整个工作集进行操作。

另外，请记住，即使是单插槽多核系统，每个内核仍然有私有(private)缓存，并且将数据从一个缓存传输到另一个缓存需要的通信成本高于访问本地缓存中私有(private)数据的成本。有关这如何在应用程序中发挥作用的示例，请参见 Jetley & Kale, "Optimizations for Message Driven Applications on Multicore Architectures", published at HiPC 2011 .