python-huey - 监控 Huey(Redis 队列、队列中的时间和工作人员数量)

Question

为休伊换了 celery ，我喜欢它的一切:)

Celery 有一件我很怀念的事情是它的花卉监控工具。是否有适用于 Huey 的监控工具？

我们需要跟踪 Redis 队列中的任务数量、任务在被工作人员接收之前排队的总时间以及正在运行的工作人员数量。

是否有任何 Huey 钩子(Hook)可以帮助解决这个问题？

我已经查看了 Huey 事件，但它们似乎只有在消费者接受任务后才会触发。

我现在的计划是:

当任务入队时，将时间戳作为参数传递给任务，然后我可以将它与工作人员从队列中拉出后的时间戳进行比较。这将获得排队时间。

我可以创建一个服务，在 Redis Huey 队列上调用 LLEN 来跟踪作业。

我不确定获得# worker 的最佳方式。理想情况下，如果我们的任务队列达到一定长度，我们希望增加 Huey 工作线程的实例数量。

有没有人有监控 Huey 的经验？我在文档中遗漏了什么可以帮助这个过程？

Answer 1

休伊有 signals这可以帮助监控每个任务发生的某些生命周期事件 - 例如计划、触发、完成、出错。如果为这些事件添加时间戳，则可以确定每个阶段花费的时间。 SIGNAL_ERROR hook 对于通过 Sentry 或 Slack 发出警报特别有用。

我没有深入监控当前正在使用的线程/进程的数量，但我确信这是可行的。我在下面构建的非常简单的监视器仪表板。