concurrency - Celery: worker 数量与并发性

Question

有什么区别:

一个并发 4 或

的 worker

两个并发 2 个工作线程

对于同一个队列。

谢谢

Answer 1

我假设您在同一台机器上运行两个 worker 。在这种情况下，我建议您为队列维护一名工作人员。

同一队列的两个工作人员 不会以任何方式使您受益。它只会增加内存浪费。

当您有多个队列时，两个或多个工作人员 ，以保持优先级或为每个 worker 分配不同数量的内核。

单个队列的两个或多个工作人员 如果您在不同的机器上运行工作程序，则很有用。不同机器上的工作人员消耗来自同一队列的任务，您可以根据每台机器上可用的内核分配并发。

我确实意识到我在 2 年后做出了回应。但我只是想我会把它放在这里给仍然有类似疑问的人。