celery 多名 worker ，但只有一名击败 worker

Question

我试图让用户安排一个周期性任务。我还在一个容器中运行多个 celery worker 。我对该容器的命令过去是这样的:

celery worker -c 4 -B -l INFO -A my.celery.app.celery --scheduler my.celery.scheduler.SchedulerClass

但是发生的事情是计划的任务在运行任务的时候运行了 4 次。

所以我读到你应该有一个专门的工作人员来进行节拍。我将我的命令更改为这个命令:

celery worker -c 4 -l INFO -A my.celery.app.celery

并添加了另一个与运行命令完全相同的容器:

celery -l INFO -B -A my.celery.app.celery --scheduler my.celery.scheduler.SchedulerClass

希望现在只有一个节拍，不会有重复的任务。但我仍然运行 4 个任务而不是一个。

关于如何做到这一点的任何想法都会有所帮助

Answer 1

来自documentation :

You can also embed beat inside the worker by enabling the workers -B option, this is convenient if you’ll never run more than one worker node, but it’s not commonly used and for that reason isn’t recommended for production use:

$ celery -A proj worker -B

因此您可能需要独立运行 beat，使用:

celery -l INFO -A my.celery.app.celery beat --scheduler my.celery.scheduler.SchedulerClass