python - celerybeat - 多实例和监控

Question

我正在使用 celery 构建应用程序，最近我们需要按计划运行某些任务。

我认为 celerybeat 非常适合这个，但我有几个问题:

1. 是否可以运行多个 celerybeat 实例，这样任务就不会重复？
2. 如何确保 celerybeat 始终正常运行？

到目前为止，我读到的是: https://github.com/celery/celery/issues/251和 https://github.com/ybrs/single-beat

看起来应该正在运行单个 celerybeat 实例。

我在 AWS elasticbeanstalk docker 容器中运行应用程序，celery worker 也是 docker 容器(因此它可以在需要时快速扩展)。

最好让 celerybeat 与 celery worker 一起通过 supervisord 运行，但这似乎不是正确的方法。

同时拥有单个 celerybeat 实例需要手动配置/启动和监控。

Answer 1

回答您的 2 个问题:

1. 如果您运行多个 celerybeat 实例，您会得到重复的任务，所以据我所知，您应该只有一个 celerybeat 实例。

2. 我正在使用 supervisord 作为守护进程运行 celery worker 和 celerybeat worker，因此它们应该始终启动并运行。

我的主管配置:

[program:my_regular_worker]
command=python2.7 /home/ubuntu/workspace/src/manage.py celery worker -Q my_regular_worker-queue_name -c 1 -l info --without-mingle
process_name=my_regular_worker
directory=/home/ubuntu/workspace/src
autostart=true
autorestart=true
user=ubuntu
stdout_logfile=/tmp/my_regular_worker.log
redirect_stderr=true



[program:my_celerybeat_worker]
command=python2.7 /home/ubuntu/workspace/src/manage.py celery worker -Q my_celerybeat_worker-queue_name -c 1 -l info --without-mingle -B -s /tmp/celerybeat-schedule