linux - 线程级并行 VS 进程级并行

Question

我对线程和进程有一个基本的了解，我想知道为什么每个教科书都在讲线程级并行，进程级并行存在吗？线程级并行比进程级并行有什么优势？

Answer 1

简答:性能和编程容易

长答案:

首先，必须考虑两种不同的并行性:基于任务的并行性(或“宏观并行性”)(例如任务 A 修改一些数据并将结果传递给任务 B)和数据级并行性(或“微观并行性”)(例如，处理大型矩阵或向量的负载分散在多个并行代理之间)。

其次，当考虑并行性时，不同的代理需要交换信息。对于线程级并行，所有线程都可以访问相同的地址空间，通信只是内存访问。相反，进程级并行性需要特定的进程间通信 (IPC) 方式以允许进程交换数据。存在多种 IPC 方法(管道、共享内存、套接字等)(例如参见 https://en.wikipedia.org/wiki/Inter-process_communication )。

问题是这些方法通常有很大的开销，并且一次通信可能需要多次耗时的数据副本。这就是为什么它们目前很少用于单个 proc 的主要原因。但是，当考虑在不同且可能距离很远的处理器上运行的进程时，主要使用进程级并行性。例如，客户端-服务器应用程序是进程级并行。

在单个处理器上，进程级并行性目前也用于 shell 脚本，作为重用现有程序的简单方法。例如，在 unix 上，像“sort < a_large_file | uniq”这样的脚本是进程级并行性。可能不是实现此操作的最有效方式(就性能而言)，但如果考虑编程时间，则完全无与伦比。

除此之外，线程级并行的一大优势是:

1)通过共享内存实现简单快速的通信机制

2) 很好地适应任务级并行或数据级并行

3) 易于编程

第 2) 点和第 3) 点可能是最重要的。虽然线程级并行性可以基于独立任务，但加速通常是有限的，并且大多数当前应用程序都依赖于数据级并行性，线程非常适用于此。公共(public)内存空间使通信开销非常有限(考虑锁时除外)并且存在非常高效且易于使用的并行化工具(例如 open-MP)

在独立进程上实现这种并行也是可能的。在考虑用于高性能计算的大型计算器时，它甚至经常发生。存在一些(粗略的)工具(例如“消息传递接口(interface)”)，但实现到目前为止比线程级并行更复杂、更容易出错且效率更低。