python - 在不创建僵尸进程的情况下停止 Flask 中的后台进程

Question

当有人访问特定 View 时，我需要启动一个带有子进程的长时间运行的后台进程。

我的代码:

from flask import Flask
import subprocess

app = Flask(__name__)

@app.route("/")
def index():
    subprocess.Popen(["sleep", "10"])
    return "hi\n"

if __name__ == "__main__":
    app.run(debug=True)

这在大多数情况下都很好用。

问题是当进程( sleep )结束时，ps -Af | grep sleep显示为 [sleep] <defunct> .

根据我的阅读，这是因为我仍然引用了 flask 中的过程.

有没有办法在进程退出后删除这个引用？

我试过做 g.subprocess = subprocess.Popen(["sleep", "10"]) ，并等待进程在 @app.after_request(response) 结束所以我可以使用 del在它上面，但这会阻止 flask 在子进程退出之前返回响应 - 我需要它在子进程退出之前返回响应。

注意:

我需要 subprocess.Popen 操作是非阻塞的——这很重要。

Answer 1

正如我在评论中所建议的那样，在 Python 中实现这种事情的最干净、最可靠的方法之一是使用 celery。 .

Celery 需要用于消息传递的代理传输，rabbitmq 是默认设置，并且至少需要一个运行 worker 的进程。然而，提高可读性和可维护性的是工作代码可以与服务器应用程序共存于同一个文件或多个文件中。您调用远程过程就好像它是一个简单的函数调用。

Celery 可以免费处理重试、任务后事件和许多其他事情，所有具有经过多年生产使用而强化的成熟代码的东西。

这是为与 Celery 一起使用而重新编写后的示例:

from flask import Flask
from celery import Celery
import subprocess

app = Flask(__name__)
celery_app = Celery("test")

@celery_app.task
def run_process():
    subprocess.Popen(["sleep", "5"])

@app.route("/")
def index():
    run_process.delay()
    return "hi\n"

if __name__ == "__main__":
    app.run(debug=True, port=8080)

使用这段代码，在一个系统中，rabbitmq 服务器以默认选项运行(我安装了包，并启动了服务 - 没有任何配置。当然在生产中你必须调整它 - 但如果一切都是在同一台服务器上，甚至可能不需要它。)

在 rabbitmq 就位后，可以使用如下命令行启动工作进程:celery worker -A bla1.celery_app -D(在与 Flask 相同的 virtualenv 上 pip 安装 celery)。然后启动 Flask 服务器并查看它是否正常工作。

当然，如果您在 Python 本身中做的工作比仅仅调用外部进程更多，那么这会带来更多优势。它可以访问您的数据库模型，并且您可以执行修改其中对象的异步操作(并最终触发用户的响应，如用户 session 中的“闪光”消息或电子邮件)