python - 如何判断使用女服务员的 flask 服务器何时重载

Question

我有一个简单的 Flask 应用程序，它在发送到端点(比如/predict)的 post 请求中的数据上运行机器学习模型。 Flask 应用程序在生产中使用默认参数的女服务员。由于预测可能需要一段时间，我的应用程序中有一个就绪端点，当女服务员任务队列大于某个数字(假设为 5)时，我想用未就绪 50x 状态代码回复。

我需要知道如何获取女服务员任务队列的大小。女服务员确实将“任务队列深度为 94”记录到标准输出，但我找不到以编程方式访问该值的方法。然后我会使用该数字来决定我的服务器是否准备好响应更多请求，或者我是否需要启动新实例。

Answer 1

这可能不是您要找的东西，但可能是一个很好的起点。使用 waitress.serve() 您可以设置一些配置，其中之一是您接受在队列中等待的积压长度。你可以设置 waitress.serve(backlog=10) 这意味着 10 个请求可以留在队列中。默认值为 1024。但是，要回答如何监视队列中当前请求的数量，这可能不会给您答案。 Ref