python - 如何在 Python 中可用的不同并发方法之间进行选择？

Question

在 Python 中有不同的并发方式，下面是一个简单的列表:

基于流程:process.Popen , multiprocessing.Process , 老式 os.system , os.popen , os.exe*

基于线程:threading.Thread

基于微线程:greenlet

我知道基于线程的并发和基于进程的并发之间的区别，并且我知道一些(但不是太多)关于 GIL的影响 CPython的线程支持。

对于想要实现某种程度的并发的初学者，如何在它们之间进行选择？或者，它们之间的一般区别是什么？在 Python 中还有更多方法可以进行并发吗？

我不确定我问的问题是否正确，请随时改进这个问题。

Answer 1

所有这三种机制都存在的原因是它们具有不同的优点和缺点。

首先，如果你有大量小的、独立的任务，并且没有合理的方法来批量处理它们(通常，这意味着你正在编写一个 C10k 服务器，但这不是唯一可能的情况)，微线程会胜出.您只能运行几百个操作系统线程或进程，以免一切陷入停滞或失败。因此，要么使用微线程，要么放弃自动并发并开始编写显式回调或协程。这真的是唯一一次微线程获胜；否则，它们就像操作系统线程一样，只是有些事情不能正常工作。

接下来，如果您的代码是 CPU-bound ，你需要流程。微线程本质上是一种单核解决方案；由于 GIL，Python 中的线程通常不能很好地并行化；进程获得操作系统可以处理的尽可能多的并行性。因此，进程将使您的 4 核系统以 4 倍的速度运行您的代码；没有别的会。 (实际上，您可能想走得更远，分布在不同的计算机上，但您没有问这个问题。)但是如果您的代码是 I/O-bound ，核心并行没有帮助，所以线程和进程一样好。

如果你有很多共享的、可变的数据，事情就会变得很艰难。流程需要明确地将所有内容放入可共享的结构中，例如使用 multiprocessing.Array 代替 list ，这变得非常复杂。线程自动共享一切——这意味着到处都有竞争条件。这意味着您需要非常仔细地考虑您的流程并有效地使用锁。通过流程，经验丰富的开发人员可以构建一个可以处理所有测试数据的系统，但每次给它一组新的输入时都必须重新组织。使用线程，经验丰富的开发人员可以编写运行数周的代码，然后会意外地悄悄地扰乱每个人的信用卡号码。

这两个中的哪一个更让你害怕——做那个，因为你更了解问题。或者，如果可能的话，退一步尝试重新设计您的代码，以使大部分共享数据独立或不可变。这可能是不可能的(不会让事情变得太慢或太难理解)，但在决定之前仔细考虑一下。

如果您有大量独立数据或共享的不可变数据，线程显然会胜出。进程需要显式共享(再次像 multiprocessing.Array)或编码。 multiprocessing对于一切都可以pickle的简单情况，它的第三方替代品使编码(marshal)处理变得非常容易，但它仍然不像直接传递值那么简单，而且速度也慢得多。

不幸的是，大多数需要传递大量不可变数据的情况与需要 CPU 并行性的情况完全相同，这意味着您需要进行权衡。这种权衡的最佳答案可能是您当前 4 核系统上的操作系统线程，但您在 2 年内拥有 16 核系统上的进程。 (如果你围绕着，例如 multiprocessing.ThreadPool 或 concurrent.futures.ThreadPoolExecutor 组织起来，然后简单地切换到 Pool 或 ProcessPoolExecutor —— 或者甚至使用运行时配置切换 —— 这几乎可以解决问题。但这不是总是可能的。)

最后，如果您的应用程序本身需要一个事件循环(例如，GUI 应用程序或网络服务器)，请首先选择您喜欢的框架。编码，比如，PySide对比 wx , 或 twisted对比 gevent , 比使用微线程和操作系统线程进行编码有更大的区别。而且，一旦你选择了框架，看看你可以在你认为需要真正并发的地方利用它的事件循环有多少。例如，如果您需要一些代码每 30 秒运行一次，请不要为此启动线程(微型或操作系统)，而是要求框架根据需要对其进行调度。