python - 使用 asyncio 同时执行两个函数

Question

我目前有一个设置，我打开一个子进程，我必须阅读 stdout和 stderr 同时 ，因此在调用子进程后，我为 stdout 生成了一个新线程只需处理 stderr在主线程中。

# imports
from subprocess import Popen, PIPE
from threading import Thread


def handle_stdout(stdout):
    # ... do something with stdout,
    # not relevant to the question
    pass


def my_fn():
    proc = Popen([...], stdout=PIPE, stderr=PIPE)
    Thread(target=lambda: handle_stdout(proc.stdout)).start()
    # ... handle stderr
    print(proc.stderr.read())
    proc.wait()
    proc.kill()

my_fn()

有没有办法使用 asyncio 实现同样的目标？

Answer 1

无线程asyncio您的代码版本可能如下所示:

import asyncio
import asyncio.subprocess

async def handle_stdout(stdout):
    while True:
        line = await stdout.readline()  # Possibly adding .decode() to get str
        if not line:
            break
    # In 3.8 four lines above can be replaced with just:
    # while line := await stdout.readline():  # Yay walrus operator!
        # ... do stuff with line ...

async def my_fn():
    # Note: No list wrapping on command line arguments; all positional arguments are part of the command
    proc = await asyncio.create_subprocess_exec(..., stdout=asyncio.subprocess.PIPE, stderr=asyncio.subprocess.PIPE)
    stdout_task = asyncio.create_task(handle_stdout(proc.stdout))
    # ... handle stderr
    print(await proc.stderr.read())
    await stdout_task
    await proc.wait()

if  __name__ == '__main__':
    asyncio.run(my_fn())

API 有点不同，异步函数实际上是在您从它们中创建任务时调用的(线程必须使用未调用的函数)，您需要小心 await采取的所有异步操作，但并没有什么不同。主要问题是 async的病毒性质；因为你只能 await在 async函数，很难从非异步代码调用异步代码(反之亦然，只要非异步代码不会因任何原因阻塞)。它使异步代码库在很大程度上与非 async 不兼容。的东西，并使零碎的转换几乎不可能，但对于全新的代码，它工作正常。