c# - 我对处理器、内核、线程和并行性的理解是否正确？

Question

我一直在努力深入了解这些概念之间的关系。我举个简单的例子，说明一下是什么思路，方便大家改正。

假设我想尝试对两个数组进行排序

int[] A = { ... }; // very large, very unsorted 
int[] B = { ... }; // very large, very unsorted 

通过“按照我的系统允许我对它们进行排序的并行方式”对它们中的每一个进行排序。我利用了 Parallel.ForEach 在幕后做了很多事情，我只是写了

var arrays = new List<int[]>(A, B);
Parallel.ForEach(arrays, (arr) => { Array.Sort(arr); });

现在假设我在具有以下规范的机器上编译并运行它:

1. 1 个处理器，1 个核心
2. 1 个处理器，多个内核
3. 2 个处理器，每个处理器至少有一个内核

在情况 1 中，绝对不可能获得性能提升。它对 A 进行排序，然后对 B 进行排序，就像在常规 foreach 循环中一样。

在情况 2 中，也没有性能提升，因为除非你有多个处理器，否则你的机器不能真正地“一次做不止一件事。”，即使它最终将它们分类不同的线程，控制线程的 CPU 对 A 进行一点排序，对 B 进行一点排序，对 A 进行更多排序，等等，这比仅对所有 A 然后对所有 B 进行排序更有效。

由于上一个案例中提到的原因，案例 3 是唯一有可能获得性能提升的案例。

有人可以批评我的理解吗？这是对还是错？ (我不是计算机科学专业的。所以请用曲线给我打分。)

Answer 1

In case 1... It sorts A, then sorts B

这不是线程的工作方式。操作系统在两个线程之间快速进行上下文切换。在 Windows 上，默认情况下每秒发生 64/3 次。交错使得 A 和 B 看起来像是同时排序的。否则不容易观察到，调试器必须让您查看 Array.Sort() 内部，但它不会。当然不是更快，但是减速是相当小的。这是一种廉价的上下文切换，不需要重新加载页面映射表，因为线程属于同一个进程。您只需为可能已损坏的缓存付费，每 3/64 秒增加约 5 微秒(慢 0.1%)很难准确测量。

In case 2, ...then your machine can not literally "do more than 1 thing at once

可以，每个核心可以并发执行Sort()。很大程度上是多核处理器的重点。然而，它们必须共享单一资源，即内存总线。重要的是阵列的大小和 RAM 芯片的速度。大型阵列不适合处理器缓存，从技术上讲，内存总线可能会因处理器内核的请求而饱和。在这种情况下没有帮助的是元素类型，比较两个 int 值是非常快的，因为它只需要一个 CPU 指令。期望速度提高 2 倍，但如果您观察到它花费的时间更长，那么您就知道 RAM 是瓶颈。

Case 3 is the only one with a possibility of a performance gain

不太可能。多处理器机器通常具有 NUMA 架构，为每个处理器提供自己的内存总线。它们之间的互连可用于将数据从一条总线传输到另一条总线。但是这样的处理器也有多个内核。弄清楚如何有效地使用它们是操作系统的工作。并且由于线程属于同一个进程，因此共享数据，这将强烈支持在同一处理器的内核上调度线程并避免在互连上施加负载。所以期望它会执行与案例 2 相同的操作。

这些是粗略的指导方针，现代机器设计要求您实际测量。