python - 我可以在单核机器上运行多处理 Python 程序吗？

Question

所以这或多或少是一个理论问题。我有一台单核机器，据说功能强大但只有一个核心。现在我有两个选择:

1. 多线程:据我所知，由于 GIL，我不能在我的机器中使用多个内核，即使我有它们也是如此。因此，在这种情况下，它没有任何区别。

2. Multiprocessing:这是我有疑问的地方。我可以在单核机器上进行多处理吗？或者每次我必须检查机器中可用的内核然后运行完全相同或更少数量的进程时？

有人可以指导我了解机器中多处理和核心之间的关系吗？

我知道这是一个理论问题，但我对此的概念不是很清楚。

Answer 1

这是一个很大的话题，但这里有一些提示。

• 将线程视为共享相同地址空间并可以访问相同内存的进程。通信是通过共享变量完成的。多个线程可以在同一个进程中运行。
• 进程(在这种情况下，粗略地说)有自己的私有(private)数据，如果两个进程想要通信，则必须更明确地进行通信。
• 当您编写的程序的瓶颈是 CPU 周期时，线程或进程都不会在单核机器上为您提供加速。
• 进程和线程对于多任务处理(在(子)程序之间快速切换)仍然很有用 - 这就是您的操作系统所做的，因为它运行的进程比您拥有的内核多得多。
• 如果您正在执行的任务受 I/O 限制，进程和线程(甚至协同程序!)即使在单核机器上也可以为您提供相当大的加速 - 考虑从网络获取数据。例如，不是主动等待数据发送或到达，而是另一个进程或线程可以启动下一个网络操作。
• 当您不需要显式封装时，线程比进程更可取，因为它们的开销较低。对于大多数受 CPU 限制的并发问题，尤其是“embarassingly parallel”问题的大部分子集，产生比您拥有的处理器更多的进程没有多大意义。
• Python GIL 可防止同一进程中的两个线程并行运行，即多个内核同时按字面意思执行指令。
• 因此，Python 中的线程对于加速受 CPU 限制的任务而言相对无用，但对于受 I/O 限制的任务仍然非常有用，因为阻塞操作(例如等待网络数据)会释放 GIL，以便另一个线程可以运行而另一个等待。
• 如果您有多个处理器，尽管有 GIL，您可以通过生成多个进程来实现真正的并行性。这仅对于 CPU 密集型任务才值得，而且通常您必须考虑生成进程的开销和进程之间的通信成本。