memory - 共享内存和分布式内存的主要区别

Question

我对共享内存和分布式内存之间的区别有点困惑。你能澄清一下吗？

1. 一个处理器是否共享内存并为多个(网络)分配内存？

2. 如果我们有共享内存，为什么还需要分布式内存？

Answer 1

简答

共享内存和分布式内存是用于特定类型并行编程的低级编程抽象。共享内存允许多个处理元素共享内存中的同一位置(即查看彼此的读取和写入)，而无需任何其他特殊指令，而分布式内存需要显式命令才能将数据从一个处理元素传输到另一个处理元素。

详细解答

关于术语共享内存和分布式内存，有两个问题需要考虑。一个是这些作为编程抽象的含义，另一个是它们在硬件实际实现方式方面的含义。

过去有真正的共享内存缓存一致的多处理器系统。这些系统通过共享总线相互通信并与共享主存进行通信。这意味着从任何处理器到主存储器的任何访问都将具有相同的延迟。今天，这些类型的系统还没有制造出来。相反，处理元素和存储元素之间存在各种点对点链接(这就是 for non-uniform memory access, or NUMA 的原因)。然而，直接通过内存进行通信的想法仍然是一种有用的编程抽象。因此在许多系统中，这是由硬件处理的，程序员不需要插入任何特殊指令。使用这些抽象的一些常见编程技术是 OpenMP和 Pthreads .

分布式内存传统上与在本地内存上执行计算的处理器相关联，然后使用显式消息与远程处理器传输数据。这增加了程序员的复杂性，但简化了硬件实现，因为系统不再需要维持所有内存实际上是共享的假象。这种类型的编程传统上用于具有数百或数千个处理元件的 super 计算机。一种常用的技术是MPI .

但是， super 计算机并不是唯一具有分布式内存的系统。另一个例子是 GPGPU可用于当今销售的许多台式机和笔记本电脑系统的编程。两个CUDA和 OpenCL要求程序员明确管理 CPU 和 GPU(或 OpenCL 中的其他加速器)之间的共享。这主要是因为当 GPU 编程开始时，GPU 和 CPU 内存被 PCI 总线隔开，与在本地连接的内存上执行计算相比，PCI 总线具有非常长的延迟。因此，编程模型的开发假设内存是独立的(或分布式的)并且两个处理元件(CPU 和 GPU)之间的通信需要显式通信。现在许多系统在同一个芯片上都有 GPU 和 CPU 元件 there are proposals让 GPGPU 编程有一个更像共享内存的接口(interface)。