python - 在python中访问子进程的标准输出

Question

如何在将子进程发送到主进程之前访问子进程的标准输出？我正在使用 multiprocessing.Pool 模块生成子进程池。

Answer 1

主进程和子进程都共享相同的标准输入和标准输出文件描述符。他们无法控制其他人写给他们的内容。您唯一可以做的就是将子进程中的 stdin 和 stdout 替换为主进程可以控制的其他内容。例如，您可以子类化一个虚拟文件对象，如 StringIO并通过 Queue 将子级写入此对象的数据重定向到父级:

import sys
from multiprocessing import Queue, Pool, current_process
from StringIO import StringIO

class MyStringIO(StringIO):
    def __init__(self, queue, *args, **kwargs):
        StringIO.__init__(self, *args, **kwargs)
        self.queue = queue
    def flush(self):
        self.queue.put((current_process().name, self.getvalue()))
        self.truncate(0)

def initializer(queue):
     sys.stderr = sys.stdout = MyStringIO(queue)

def task(num):
     print num
     sys.stdout.flush()
     return num ** 2

q = Queue()
pool = Pool(3, initializer, [q])

for _ in pool.map(task, range(5)):
    proc, out = q.get()
    print proc, "got", out

这应该打印出如下内容:

PoolWorker-1 got 0
PoolWorker-1 got 3
PoolWorker-1 got 4
PoolWorker-2 got 1
PoolWorker-3 got 2

不要忘记在 task 结束时调用 sys.{stdout,stderr}.flush() 否则，队列中不会写入任何内容。