parallel-processing - 多个 CPU 是否竞争相同的内存带宽？

Question

在多 CPU 的机器中，不同的 CPU 是竞争相同的内存带宽，还是独立访问 DRAM？

换句话说，如果程序的内存带宽受到限制，例如，1-CPU 8 核系统，那么迁移到 4-CPU 4*8 核机器有机会加快它(假设 CPU 和 DRAM有可比性)？

Answer 1

您的主要问题的答案是:取决于。它取决于什么？这取决于您的设置所在的阵营，从技术上讲，有两个。

在称为共享内存多核的第一个阵营中，您的问题的答案是"is"。使用此模型，如果您愿意，具有多个内核的多个处理器通过公共(public)总线(这是您遇到瓶颈的地方)共享内存，除此之外，没有任何东西将 CPU 连接在一起。这是典型的消费级计算机所属的类别/阵营/模型。

在称为分布式内存多核的第二个阵营中，您的问题的答案是“否”。这种硬件设置方案意味着每个处理器都有自己的私有(private)内存，但有一条总线将处理器直接连接在一起。使这种情况成为可能的协议(protocol)是Message Passing Interface .这也意味着 CPU 组在物理上不必与它们访问的 RAM 在同一个盒子或房间中。你可能不会在家里找到这种设置。想想研究设施、实验室、大学、大中型企业等。

回答你的第二个问题。答案也取决于。这取决于，因为需要知道程序是否被编写为利用系统的并行执行可能性的并行性。尽管您的消费级计算机有一个或两个处理器共享一个内存总线，但如果在编写程序时考虑到并行性，那么您会注意到性能有所提高。否则，来自程序的串行指令将仅在一个内核上串行执行。

如果您深入了解多核处理的本质，以及如何通过程序访问内存，那么 Flynn's Taxonomy 是一个很好的扩展头骨的“网关资源”。 )。如果您有兴趣，只需谷歌搜索它就会带您进入兔子洞。

编辑:为了给予应得的荣誉，我强烈推荐 Gaston C. Hillar 的 Professional Parallel Programming in C#。在我短暂的职业生涯中，这本令人愉快的书对我来说是关于并行性主题的最有启发性的。它有助于澄清并行编程和多核编程以及我刚才提到的多核处理类型之间的区别，并附有图表!