python - Python 3.5 中协程和 future /任务之间的区别？

Question

假设我们有一个虚拟函数:

async def foo(arg):
    result = await some_remote_call(arg)
    return result.upper()

两者有什么区别:

import asyncio    

coros = []
for i in range(5):
    coros.append(foo(i))

loop = asyncio.get_event_loop()
loop.run_until_complete(asyncio.wait(coros))

还有:

import asyncio

futures = []
for i in range(5):
    futures.append(asyncio.ensure_future(foo(i)))

loop = asyncio.get_event_loop()
loop.run_until_complete(asyncio.wait(futures))

注意:示例返回结果，但这不是问题的重点。当返回值很重要时，使用 gather() 而不是 wait()。

无论返回值如何，我都在寻找关于 ensure_future() 的清晰度。 wait(coros) 和 wait(futures) 都运行协程，那么协程何时以及为什么应该包含在 ensure_future 中？

基本上，使用 Python 3.5 的 async 运行一堆非阻塞操作的正确方法 (tm) 是什么？

为了获得额外的信用，如果我想批量调用怎么办？例如，我需要调用 some_remote_call(...) 1000 次，但我不想用 1000 个同时连接来破坏 Web 服务器/数据库/等。这对于线程或进程池是可行的，但是有没有办法使用 asyncio 来做到这一点？

2020 年更新(Python 3.7+):不要使用这些代码段。而是使用:

import asyncio

async def do_something_async():
    tasks = []
    for i in range(5):
        tasks.append(asyncio.create_task(foo(i)))
    await asyncio.gather(*tasks)

def do_something():
    asyncio.run(do_something_async)

还可以考虑使用 Trio ，asyncio 的强大的第 3 方替代方案。

Answer 1

协程是一个生成器函数，它既可以产生值，也可以接受来自外部的值。使用协程的好处是我们可以暂停函数的执行并在以后恢复它。在网络操作的情况下，在我们等待响应时暂停函数的执行是有意义的。我们可以利用这段时间来运行一些其他的功能。

future 就像 Javascript 中的 Promise 对象。它就像一个占位符，用于表示将来会实现的值。在上面提到的情况下，在等待网络 I/O 时，一个函数可以给我们一个容器，这是一个 promise ，当操作完成时它将用该值填充容器。我们保留 future 对象，当它完成时，我们可以调用它的方法来检索实际结果。

直接回答:如果您不需要结果，则不需要 ensure_future。如果您需要结果或检索发生的异常，它们很好。

额外积分:我会选择 run_in_executor并传递一个 Executor 实例来控制最大工作人员的数量。

说明和示例代码

在第一个示例中，您使用的是协程。 wait 函数需要一堆协程并将它们组合在一起。所以 wait() 在所有协程都用尽时完成(完成/完成返回所有值)。

loop = get_event_loop() # 
loop.run_until_complete(wait(coros))

run_until_complete 方法将确保循环在执行完成之前一直处于事件状态。请注意在这种情况下您如何没有获得异步执行的结果。

在第二个例子中，你使用 ensure_future 函数来包装一个协程并返回一个 Task 对象，它是一种 Future .当您调用 ensure_future 时，协程计划在主事件循环中执行。返回的 future/task 对象还没有值，但随着时间的推移，当网络操作完成时，future 对象将保存操作的结果。

from asyncio import ensure_future

futures = []
for i in range(5):
    futures.append(ensure_future(foo(i)))

loop = get_event_loop()
loop.run_until_complete(wait(futures))

所以在这个例子中，我们在做同样的事情，除了我们使用 future 而不是仅仅使用协程。

我们来看一个如何使用 asyncio/coroutines/futures 的例子:

import asyncio


async def slow_operation():
    await asyncio.sleep(1)
    return 'Future is done!'


def got_result(future):
    print(future.result())

    # We have result, so let's stop
    loop.stop()


loop = asyncio.get_event_loop()
task = loop.create_task(slow_operation())
task.add_done_callback(got_result)

# We run forever
loop.run_forever()

在这里，我们在 loop 对象上使用了 create_task 方法。 ensure_future 将在主事件循环中安排任务。这种方法使我们能够在我们选择的循环上调度协程。

我们还看到了在任务对象上使用 add_done_callback 方法添加回调的概念。

当协程返回值、引发异常或被取消时，Task 是 done。有一些方法可以检查这些事件。

我写了一些关于这些主题的博客文章，可能会有所帮助:

• http://masnun.com/2015/11/13/python-generators-coroutines-native-coroutines-and-async-await.html
• http://masnun.com/2015/11/20/python-asyncio-future-task-and-the-event-loop.html
• http://masnun.com/2015/12/07/python-3-using-blocking-functions-or-codes-with-asyncio.html

当然，您可以在官方手册中找到更多详细信息:https://docs.python.org/3/library/asyncio.html