python - 如何制作一组既可以同步又可以异步使用的函数？

Question

假设我有一组这样的函数:

def func1():
    func2()

def func2():
    time.sleep(1)  # simulate I/O operation
    print('done')

我希望这些可以同步使用:

# this would take two seconds to complete
func1()
func1()

以及异步的，例如像这样:

# this would take 1 second to complete
future = asyncio.gather(func1.run_async(), func1.run_async())
loop = asyncio.get_event_loop()
loop.run_until_complete(future)

当然，问题是 func1 必须以某种方式将它运行的“上下文”(同步与异步)传播到 func2。

我想避免为我的每个函数编写异步变体，因为这会导致大量重复代码:

def func1():
    func2()

def func2():
    time.sleep(1)  # simulate I/O operation
    print('done')

# duplicate code below...
async def func1_async():
    await func2_async()

async def func2_async():
    await asyncio.sleep(1)  # simulate I/O operation
    print('done')

有没有什么方法可以做到这一点而不必实现我所有函数的异步副本？

Answer 1

这是我的“非答案答案”，我知道 Stack Overflow 喜欢...

Is there any way to do this without having to implement an asynchronous copy of all my functions?

我认为没有。制作一个“一揽子翻译器”以将函数转换为 native 协程似乎几乎是不可能的。那是因为使同步函数异步不仅仅是在它前面抛出一个async 关键字并在其中添加几个await 语句。请记住，您 await 的任何内容都必须是 awaitable .

您的 def func2(): time.sleep(1) 说明了这一点。同步函数会进行阻塞调用，例如time.sleep();异步( native 协程)将等待非阻塞协程。正如您所指出的，要使此函数异步，不仅需要使用 async def func()，还需要等待 asyncio.sleep()。现在让我们假设您正在调用一个更复杂的阻塞函数，而不是 time.sleep()。你构建了某种花哨的装饰器，它打了一个 function attribute称为run_async，这是一个可调用的，到装饰函数上。但是装饰器如何知道如何将 func2() 中的阻塞调用“翻译”成它们的协程等价物，如果它们已经被定义的话？我想不出有什么魔法足够聪明，可以将同步函数中的所有调用转换为它们的 awaitable 对应项。

在您的评论中，您提到这是针对 HTTP 请求的。对于一个真实世界的例子，requests 和 aiohttp 包之间的调用签名和 API 之间存在差异。在aiohttp中，.text()是一个实例method ;在 requests 中，.text 是一个 property .您如何才能构建出足够聪明的东西来了解诸如此类的差异？

我并不是要气馁——但我认为使用线程会更现实。