Python 多处理文档示例

Question

我正在尝试学习 Python 多处理。

http://docs.python.org/2/library/multiprocessing.html来自“要显示所涉及的各个进程 ID，这是一个扩展示例:”的示例:

from multiprocessing import Process
import os

def info(title):
    print title
    print 'module name:', __name__
    if hasattr(os, 'getppid'):  # only available on Unix
        print 'parent process:', os.getppid()
    print 'process id:', os.getpid()

def f(name):
    info('function f')
    print 'hello', name

if __name__ == '__main__':
    info('main line')
    p = Process(target=f, args=('bob',))
    p.start()
    p.join()

我到底在看什么？我看到 def f(name): 在 info('main line') 完成后被调用，但这个同步调用无论如何都是默认的。我看到相同的进程信息('main line')是 def f(name)的父 PID:但不确定什么是 'multiprocessing'。

此外，对于 join() “阻塞调用线程，直到其 join() 方法被调用的进程终止”。我不清楚调用线程是什么。在这个例子中，join() 会阻塞什么？

Answer 1

简而言之，multiprocessing 的工作原理:

• Process() 产生(fork 或类 Unix 系统上的类似)原始程序的副本(在 Windows 上，缺少真正的 fork，这很棘手，需要特别注意模块文档中提到的)。
• 副本与原件通信以确定 (a) 它是一个副本，并且 (b) 它应该关闭并调用 target= 函数(见下文)。
• 此时，原件和副本现在是不同的和独立的，并且可以同时运行。

由于这些是独立的进程，它们现在具有独立的全局解释器锁(在 CPython 中)，因此只要它们不争用其他较低的 -级 (OS) 资源。这就是“多处理”部分。

当然，在某些时候，您必须在这些假定独立的进程之间来回发送数据，例如，将来自一个(或多个)工作进程的结果发送回“主”进程。 (偶尔会有异常(exception)，每个人都是完全独立的，但这种情况很少见……而且还有整个启动序列本身，由 p.start() 启动。)所以每个人都创建了 Process 实例——p，在上面的例子中——有一个与其父创建者的通信 channel ，反之亦然(它是一个对称连接)。 multiprocessing 模块使用 pickle 模块将数据转换为字符串——您可以使用 pickle.dump 将相同的字符串存储在文件中——并发送跨 channel 的数据，“向下”到工作人员发送参数等，“向上”从工作人员发送回结果。

最后，一旦您完成了所有获取结果的工作，worker 就会完成(通过从 target= 函数返回)并告诉父级它已完成。为了确保一切都得到关闭和清理，父级应该调用 p.join() 来等待 worker 的“我完成了”消息(实际上是操作系统级别的 exit 在 Unix-ish 系统上)。

这个例子有点傻，因为两条打印消息基本上根本不需要时间，所以“同时”运行它们没有可衡量的 yield 。但是假设不是仅仅打印 hello，f 是计算 π (3.14159...) 的前 100,000 位数字。然后，您可以生成另一个 Process，p2，它具有不同的目标 g，计算 e 的前 100,000 位数字 (2.71828...)。这些将独立运行。然后父进程可以调用 p.join() 和 p2.join() 来等待两者完成(或者派生更多的 worker 来做更多的工作并占用更多的 CPU ，甚至先离开自己的工作一段时间)。