python - `eventlet.spawn` 没有按预期工作

Question

我正在为数据分析任务编写网络用户界面。

这是它应该工作的方式:

在用户指定dataset和learning rate等参数后，我创建了一个新的task record，然后启动了这个任务的执行器异步(执行程序可能需要很长时间才能运行。)，并且用户被重定向到其他页面。

在搜索了一个 python 的异步库 之后，我开始使用 eventlet，这是我在 flask View 函数中编写的内容:

db.save(task)
eventlet.spawn(executor, task)
return redirect("/show_tasks")

上面的代码，执行器根本没有执行。

我的代码可能有什么问题？或者也许我应该尝试别的东西？

Answer 1

虽然您得到了直接的解决方案，但我会尝试回答您的第一个问题并解释为什么您的代码无法按预期工作。

披露:我目前维护 Eventlet。此评论将包含一些简化以适应合理的大小。

协作式多线程简介

有两种方法可以做到Multithreading Eventlet 利用协作方法。核心是Greenlet基本上允许您创建独立的“执行上下文”的库。可以将这种上下文视为所有局部 变量的卡住状态和指向下一条指令的指针。基本上，多线程 = 上下文 + 调度器。 Greenlet 提供了上下文，所以我们需要一个调度器，它可以决定哪个上下文应该立即占用 CPU。事实证明，为了做出决定，我们还应该运行一些代码。这意味着一个单独的上下文(绿色线程)。这个特殊的绿色线程在 Eventlet 代码库中称为 Hub。调度器维护一个有序的 set需要尽快运行的上下文 - 运行队列 和正在等待某事(例如网络 IO 或限时 sleep )完成的上下文集。

但是由于我们正在进行协作式多任务处理，一个上下文将无限期地执行，除非它明确让步给另一个上下文。这将是一种非常可悲的编程风格，并且根据定义与现有库不兼容(指向他们知道谁)；所以 Eventlet 所做的是它提供了通用模块的 绿色 版本，这些模块以切换到 Hub 而不是阻止所有内容的方式进行了更改。然后，可能会在其他绿色线程或 Hub 的wait-for-external-events 实现中花费一些时间，在这种情况下，Hub 会切换回发起该事件的绿色线程 - 并且会继续执行。

结束。现在回到您的问题。

---

eventlet.spawn 实际上做了什么:它创建了一个新的执行上下文。基本上，在内存中分配一个对象。它还告诉调度程序将此上下文放入运行队列，因此在第一个可能的时刻，Hub 将切换到新生成的函数。您的代码不提供这样的时刻。没有地方可以明确放弃执行给其他绿色线程，对于 Eventlet，这通常是通过 eventlet.sleep() 完成的。并且由于您不使用公共(public)模块的绿色版本，因此在其他代码等待时没有机会隐式让步。最合适的(如果不是唯一的)地方是您的 WSGI 服务器的接受循环:它应该让其他绿色线程有机会在等待下一个请求时运行。第一个答案中提到的 eventlet.monkey_patch() 只是一种将所有(或部分)通用模块替换为相应绿色版本的便捷方法。

---

对整体设计的不当意见在单独的部分中，可以轻松跳过。 如果您正在构建抗错软件，您通常希望限制衍生线程(包括但不限于“绿色”)和进程的执行时间，并且至少报告(日志)或对它们未处理的错误使用react.在提供的代码中，您生成的绿色线程从技术上讲可能会在下一刻或五分钟后运行(同样，因为没有人放弃 CPU)或因未处理的异常而失败。幸运的是，Eventlet 为这两个问题提供了两种解决方案:Timeout with_timeout()允许限制等待时间(记住，如果它不产生，你不可能限制它)和GreenThread.link()捕捉所有异常。在“主”代码中重新引发异常可能很诱人(对我来说是这样)，link() 很容易做到这一点，但考虑到异常会从 sleep 和 IO 调用中引发——你在这些地方屈服于集线器。这可能会提供一些非常反直觉的回溯。