python - 使用 Redis 时，Celery 中可靠的任务处理需要什么？

Question

我们希望在 kubenetes 集群中运行 Celery/Redis，目前没有启用 Redis 持久性(一切都在内存中)。我担心:Redis 重启(丢失内存中的数据)、worker 重启/中断(由于崩溃和/或 pod 调度)以及 transient 网络问题。

使用Celery使用Redis做任务处理时，需要怎样保证任务的可靠性？

Answer 1

在 redis 方面，只需确保您使用的是备份功能:

https://redis.io/topics/persistence

How to recover redis data from snapshot(rdb file) copied from another machine?

在 celery 方面，确保您的任务是幂等的。如果重新提交，则只运行一次。

如果一个任务正在处理中并且有一个重新启动。然后希望当 redis 和应用程序备份时，celery 会看到一个未完成的任务并尝试重新安排它。