python - 使用 asyncio.create_subprocess_exec 设置最大并发数

Question

我需要使用不同的输入运行一个程序大约 500 次。我想使用 asyncio.create_subprocess_exec 并希望限制同时运行的进程数量，以免阻塞机器。有没有办法设置并发级别？例如，我期望类似 AbstractEventLoop.set_max_tasks 的内容。

Answer 1

如suggested作者:@AndrewSvetlov，您可以使用 asyncio.Semaphore强制执行限制:

async def run_program(input):
    p = await asyncio.create_subprocess_exec(...)
    # ... communicate with the process ...
    p.terminate()
    return something_useful

async def run_throttled(input, sem):
    async with sem:
        result = await run_program(input)
    return result

LIMIT = 10

async def many_programs(inputs):
    sem = asyncio.Semaphore(LIMIT)
    results = await asyncio.gather(
        *[run_throttled(input, sem) for input in inputs])
    # ...