python - 如何从 subprocess.communicate() 捕获 python 中的流输出

Question

目前，我有这样的东西:

self.process = subprocess.Popen(self.cmd, stdout=subprocess.PIPE)
out, err = self.process.communicate()

我正在运行的命令流式传输输出，我需要进程在继续之前阻塞。

如何才能捕获流式输出并通过 stdout 打印流式输出？当我设置 stdout=subprocess.PIPE 时，我可以捕获输出，但不会打印输出。如果我省略 stdout=subprocess.PIPE，它会打印输出，但 communicate() 将返回 None。

是否有一种解决方案可以满足我的要求，同时提供阻塞直到进程终止/完成，并避免提到的缓冲区问题和管道死锁问题 here ？

谢谢!

Answer 1

我能想到一些解决方案。

#1:你可以进入源代码获取the code for communicate ，复制并粘贴它，添加打印每一行的代码，并进行缓冲。 (如果你自己的 stdout 可能因为死锁的父进程而阻塞，你可以使用 threading.Queue 或其他东西代替。)这显然有点hacky，但这很容易，而且很安全。

但实际上，communicate 很复杂，因为它需要完全通用，并处理您不处理的情况。您在这里所需要的只是核心技巧:针对问题抛出线程。您只需要一个专用的阅读器线程，它不会在 read 调用之间做任何缓慢或阻塞的事情。

像这样:

self.process = subprocess.Popen(self.cmd, stdout=subprocess.PIPE)
lines = []
def reader():
    for line in self.process.stdout:
        lines.append(line)
        sys.stdout.write(line)
t = threading.Thread(target=reader)
t.start()
self.process.wait()
t.join()

您可能需要在 reader 线程中进行一些错误处理。而且我不能 100% 确定您可以在这里安全地使用 readline。但这要么有效，要么接近。

#2:或者您可以创建一个包装器类，每次任何人读取时，它都将文件对象发送到stdout/stderr从中。然后手动创建管道，并传入包装管道，而不是使用自动 PIPE。这与 #1 存在完全相同的问题(意味着没有问题，或者您需要使用 Queue 或 sys.stdout.write 可以阻止的东西)。

像这样:

class TeeReader(object):
    def __init__(self, input_file, tee_file):
        self.input_file = input_file
        self.tee_file = tee_file
    def read(self, size=-1):
        ret = self.input_file.read(size)
        if ret:
            self.tee_file.write(ret)
        return ret

换句话说，它包装了一个文件对象(或类似文件对象的东西)，并像一个文件对象一样工作。 (当您使用 PIPE 时，process.stdout 在 Unix 上是一个真实的文件对象，但在 Windows 上可能只是一些行为。)您需要的任何其他方法委托(delegate)给 input_file 可能可以直接委托(delegate)，无需任何额外包装。要么试试这个，看看哪些方法 communicate 得到 AttributeException 寻找并显式编码那些，或者做通常的 __getattr__ 技巧来委托(delegate)一切。 PS，如果你担心这个“文件对象”的想法意味着磁盘存储，请阅读 Everything is a file在维基百科。

#3:最后，您可以获取 PyPI 上的“异步子进程”模块之一或包含在 twisted 或其他异步框架中并使用它。 (这使得避免死锁问题成为可能，但不能保证——您仍然必须确保正确地维护管道。)