Python 解释器将异步操作的控制权交还给 C 调用者

Question

这是一个网络守护进程，其中每个传入请求都通过一个解释器运行，并具有一个轻量级的请求特定堆栈。解释器允许请求在等待阻塞 I/O 操作时让出控制权。通过这种方式，请求的运行方式与其他语言中的协程非常相似。单个 POSIX 线程可能有数千个处于屈服或可运行状态的请求，但只有一个请求主动取得进展。

使用 Lua 等其他嵌入式语言，可以将控制权交还给 C 调用者。这就是 NGINX 使用 Lua 作为其嵌入式脚本语言的原因之一。

我想知道当 python 线程等待异步满足条件时，是否有一种方法可以使用 Python 实现类似的功能。

我认为 Python 向 C 调用方公开异步条件的详细信息，并让 C 调用方在满足条件时通知 Python 解释器是不现实的。但即使 Python 返回的控制没有有关异步条件的信息，它也可能允许 C 调用者将多个 Python 线程状态用作绿色线程。

这个想法是将线程状态附加到每个请求，并让 python 解释器在特定线程和请求可运行时通知 C 调用者。最明显(但可能最糟糕/最幼稚)的方法是 C 调用者轮询 Python 解释器，允许 Python 检查是否满足任何异步条件，并返回可运行线程状态的列表。然后，C 调用方将交换到可运行线程状态，并调用 Python 解释器继续执行。

如果您对此有任何想法，我将不胜感激。即使知道 Python 协程是否可以屈服于 C 调用方，并让 C 调用方恢复协程也会很有用。

编辑

建议在单独的进程中运行 Python 并通过管道或网络套接字向其发送请求是没有意义的。这就是作弊。

编辑2

看起来其他人在 Emscripten 和 Python 之间实现了与我建议的类似机制。

https://github.com/emscripten-core/emscripten/issues/9279

Answer 1

一种潜在的解决方案是使用 asyncio 的 run_coroutine_threadsafe() 函数。

对于每个应用程序线程，都有一个影子 Python 解释器线程。这些是共享解释器的单独操作系统线程，但具有单独的 PyThreadState。

在Python线程中，您创建一个新的事件循环，将对循环对象的引用写入共享变量，并在安装适当的机制后调用loop.run_forever()来停止事件循环。优雅地循环。

在应用程序线程中，您将模块调用包装到要在协程中运行的 Python 脚本，并使用 asyncio.run_coroutine_threadsafe() 将它们提交到 Python 解释器线程(使用来自共享变量)。应用程序线程向通过 add_done_callback 接收的 Future 添加回调。然后应用程序请求被放弃，这意味着它的执行被挂起，应用程序线程可以处理新的应用程序请求。

add_done_callback 回调调用一个应用程序 C 函数，该函数向应用程序线程发出信号，表明特定应用程序请求的处理已完成。然后，应用程序请求被放回到应用程序的可运行队列中，以便继续执行。

在我有了完整、完善的解决方案，并且我已经完全测试了有问题的线程不安全方面后，我将更新答案。但就目前而言，这似乎确实是一个可行的解决方案。