python - 在具有单个 CPU 的机器上的单个 celery worker 中运行多个进程

Question

我正在研究 Celery 作为我的 flask 应用程序的后台 worker 。该应用程序托管在 Linode 平台上的共享 Linux 服务器上(我不太确定这是什么意思)。描述说服务器有 1 个 CPU 和 2GB RAM。我读到一个 Celery worker 在它下面启动工作进程，它们的数量等于机器上的核心数量——在我的例子中是 1。

我会遇到用户要求运行多个后台作业的情况。它们都将被放置在 redis/rabbitmq 队列中(尚未决定)。因此，如果我以大于 1 的并发度(比如 --concurrency 4)启动 Celery，那么它会有用吗？或者在我只有一个 CPU 的情况下，其他工作人员是否会无用？

任务主要是从 google 表格和应用程序数据库读取信息。这些交互有时会变得很繁重，大约需要 5-15 分钟。基于此，上述问题的答案是否会因为有时cpu没有被利用而改变？

这方面的任何帮助都会很好，因为我不希望一项工作继续等待前一项工作完成才能开始，或者唯一的解决方案是花钱买一台更好的机器吗？

谢谢

Answer 1

这是常见的情况，所以不要担心。如果你的任务不是 CPU 繁重的，你总是可以像你计划的那样过度使用。如果他们只做 I/O，那么您甚至可以选择比 4 更高的数字，一切都会正常工作。