celery - Celery 任务可以在重启后存活吗？

Question

我需要构建一个处理两种类型任务的系统。一种类型可以创建更多自身或另一种类型的任务。将有很少的 worker (2-3)和只有一个主机。最重要的要求是系统应该优雅地处理重新启动:即在重新启动时，正在进行的任务应该从头开始，并且工作人员应该选择在重新启动之前排队的任务。
看看 Celery，它似乎适合这个用例。但是，我有几个问题:

1) Celery 是否能够按照描述处理整个系统的重启？ ( celery + worker +经纪人，一切都重新启动，完全断电)。

2)在这种情况下使用的最佳经纪人是什么？我更喜欢 SQLAlchemy + SQLite，因为它更“自包含”，但如果 R​​abbitMQ 是正确的选择，鉴于需要优雅地处理完全重启，那么我可以使用它。

Answer 1

1) Celery 是否能够按照描述处理整个系统的重启？ ( celery + worker +经纪人，一切都重新启动，完全断电)。

Yes, When you create your own queue on RabbitMQ ( Persistent queue ) even after the restart of your server the task will be resumed and will be carried out by Celery.

2)在这种情况下使用的最佳经纪人是什么？我更喜欢 SQLAlchemy + SQLite，因为它更“自包含”，但如果 R​​abbitMQ 是正确的选择，鉴于需要优雅地处理完全重启，那么我可以使用它。

USe RabbitMQ. we are using RabbitMQ + Celery in production. So i would suggest you to use RabbitMQ as a broker.

Celery + RabbitMQ Best Practice

Message Reliability

注意事项:

使用更多队列(即不仅仅是默认队列)

使用优先 worker

使用 Celery 的错误处理机制