python-3.x - 使用 Redis 作为 Celery 结果后端和消息代理 - 任务过期(对于存储在 redis 中的 key )

Question

我正在使用 Celery、Redis 作为消息代理 和结果后端。我不清楚 Redis 中的任务过期或 KEY 过期。

需要说明的是，当 Celery 客户端启动任务时，它会生成一个唯一的 task_id "celery-task-meta-64h4378-875ug43-6523g" 这就是它作为 KEY (举个例子)对于每个任务并将其放入消息队列中，Celery worker 将检查消息队列并根据到位的 worker 数量执行任务。如果工作人员完成任务并将任务标记为 SUCCESS/FAILURE，它不会将其更改为 PENDING 或任何其他状态。

Celery docs说过期时间对应于“发布”任务后的时间，但我找不到任何关于“发布”实际含义的信息。

我知道 celery 将任务存储为 Redis Key，默认到期时间为 1 天(86400 秒)。在我的例子中，一旦创建任务并将其作为 KEY 存储在 Redis 中，工作人员就需要更多时间来执行任务并更新该任务的结果，无论它是成功还是失败。

问题 #1:关于 Redis key 过期时间..celery 创建的 1 天默认时间是从创建 key 时开始计算，还是在任务完成后结果由工作人员更新为 key (我的意思是在 Redis 中创建的 key -> 工作人员开始该任务 -> 工作人员完成并更新任务(Redis 中的 key ))..？

我唯一担心的是在 celery 创建新任务后，worker 开始执行该任务并需要一天以上的时间才能完成该任务(最坏的情况是……如果我们创建的任务数量越来越多)同时，如果 KEY 在 Redis 中过期...那么在这些情况下该怎么办...？

快速解决方案是将 redis Key 过期时间增加到一天以上 :)

问题 #2:在上述情况下使用 RabbitMq 而不是 Redis 是一个不错的选择吗？在这种情况下，我们可以将结果存储在持久性数据库中，而不必担心过期时间和 Redis 内存缓存填满情况。

如果我对上述几点的理解有误，请纠正我。对此的任何反馈/帮助将不胜感激:)

Answer 1

问题 #1:您在链接中引用的到期时间是从调用 apply_async 或 delay 开始的。

问题 #2:两者都是不错的选择。 Redis 的可靠性稍差，但比rabbitmq 更容易配置。也就是说，使用 rabbitmq 作为您的代理是迄今为止大多数开发人员最流行的选择。 YMMV.