python - Celery并发设置: CELERYD_CONCURRENCY and CELERYD_PREFETCH_MULTIPLIER

Question

我对 CELERYD_CONCURRENCY 和 CELERYD_PREFETCH_MULTIPLIER 有疑问
因为我的英文不太好，看不懂官方网站的描述，
我想确认一下

我设置了CELERYD_CONCURRENCY=40我认为它将使用 40 名 worker 来做事情
但我经常看到 INFO/MainProcess ，很少看到 INFO/Worker-n
是不是因为任务速度快，所以不用分配给worker？

这是一个任务架构:
我有一个 period_task 是 celery period_task ，而 mail_it 是正常的 celery 任务

@shared_task
def period_task():
    do_something()
    ....
    for mail in mail_list:
        mail_it.delay(mail)

第二个问题是CELERYD_PREFETCH_MULTIPLIER，默认值为4
这是否意味着每个工作人员一次可以从队列中获取 4 个任务？？？所以我有40个 worker ，我可以得到40*4个任务？？？

Answer 1

我的理解:

CELERYD_CONCURRENCY:这是给定工作线程将拥有的线程/绿线程的数量。 Celery 将这些称为“过程”。这是单个工作人员可以并行执行的任务数。我相信 Celery 在内部创建了这个 numbe PLUS 1，并且额外的 1 用于实际管理/分配给其他人(在你的例子中，有 40 个!)。根据我的经验，您可能不需要/想要 40 个(接近每个 CPU 1 个或 2 个)，但您的情况可能会有所不同。

CELERYD_PREFETCH_MULTIPLIER:根据文档，预取是每个“进程”保留多少个任务。它有点像专门针对该特定线程的迷你队列。这确实意味着您的 ONE 启动工作人员可能会“保留”40 * 4 项任务要做。请记住，这些保留的任务不能被“窃取”或发送给另一个工作线程或线程，因此，如果它们长时间运行，您可能希望禁用此功能，以允许较快的工作站弥补较慢工作站的不足。

如果您当前的设置不清楚，我可能建议向您的任务添加 sleep() 以便能够观察它。