php - 如何获取 Celery 中失败的任务？

Question

我正在使用 celery 来处理一些任务。我可以看到有多少事件或计划等，但我无法找到任何方法来查看失败的任务。 Flower 确实向我显示了状态，但前提是它在任务启动和失败时正在运行。是否有任何命令可以获取所有失败的任务(状态:失败)？

我确实有创建任务时的任务 ID。但是有数百万个。所以即使有办法通过任务ID查也无法一一查。但是如果有这样的命令，请告诉我。

Answer 1

Celery 不容易找到失败的任务，但是 Flower (主要的 Celery 管理 Web 应用程序)确实简化了这一点。即使在任务完成后，它也会保留任务 ID 的记录，并且有一个 API 可让您仅查找失败的任务。

Flower 相当基本的 HTTP API 包括 /api/tasks endpoint - 您可以使用 /api/tasks?state=FAILURE 仅显示失败的任务，然后解析 JSON 以提取您需要的内容。内容类似于您在 Web API 中获得的内容，使用 curl 制作原型(prototype)和使用 jq 格式化/过滤很容易:

curl -s 'http://localhost:5555/api/tasks?state=FAILURE&limit=5' | jq . | less

Flower 当然需要安装和运行。

由于您有数百万个已完成的任务，您可能需要在数据存储中捕获失败的任务信息以便高效访问 - 也许 Flower 会有所帮助。或者您可以在 Celery 中尝试自定义失败处理程序，以捕获刚刚失败的任务信息 - 请参阅 this answer .