python - 如何处理 asyncio 中嵌套函数的 "This event loop is already running"错误？

Question

我想用一组类别执行网络抓取，每个类别也有一个 URL 列表。所以我决定在main函数中只根据每个类别调用一个函数，并且在inner函数内部有一个非阻塞调用。

代码如下:

def main():
    loop = asyncio.get_event_loop()
    b = loop.create_task(f("p", all_p_list))
    f = loop.create_task(f("f", all_f_list))

    loop.run_until_complete(asyncio.gather(p, f))

它应该同时执行f 函数。

但是 f 函数也必须运行循环，因为在函数中它同时调用一个函数，基于每个 URL。

async def f(category, total): 
    urls = [urls_template[category].format(t) for t in t_list]
    soups_coro = map(parseURL_async, urls)

    loop = asyncio.get_event_loop()
    result = await loop.run_until_complete(asyncio.gather(*soups_coro))

但是在我运行脚本之后，它得到了一个This event loop is already running错误，我发现这是因为我调用了loop.run_until_complete()内部和外部功能。

但是，当我剥离 run_until_complete()，并在 main() 中调用 f() 时，函数会立即调用完成了，它不能等待内部功能完成。所以在main()中调用循环是不可避免的。但后来我认为它与内部函数不兼容，内部函数也必须调用它。

如何处理问题并运行循环？原始代码都在同一个 main() 中并且可以正常工作，但如果可能的话我想让它更简洁。

Answer 1

How can I deal with the problem and run the loop?

循环已经在运行。您不需要(也不能)再次运行它。

result = await loop.run_until_complete(asyncio.gather(*soups_coro))

你在等待错误的事情。 loop.run_until_complete 不会返回您可以等待的内容(Future)；它会返回您正在运行的任何结果，直到完成。

当您直接调用 f 时似乎没有发生任何事情的原因是 f 是一个 asyncio 风格的协程。因此，它返回一个必须与事件循环一起安排的 future 。它不会执行，直到正在运行的事件循环告诉它执行。 loop.run_until_complete 会为您处理所有这些。

要结束您的问题，您需要等待 asyncio.gather。

async def f(category, total): 
    urls = [urls_template[category].format(t) for t in t_list]
    soups_coro = map(parseURL_async, urls)

    result = await asyncio.gather(*soups_coro)

您可能还想在 f 的末尾包含 return result。