django - Heroku 上的 Celery、RabbitMQ 和 Django : Reaching Memory Limit

Question

在 Django 应用程序中使用 RabbitMQ 运行 Celery 任务时，我的 Heroku Dyno(业余爱好)达到了 RAM 内存限制。

我尝试了一些 Celery 设置，但我一直在达到内存限制，而且我缺少有关内存优化的技术知识。我想知道我当前的设置是否可以做些什么来防止达到限制，或者这是升级 Heroku Dyno 的唯一解决方案？

BROKER_URL = 'amqp://url'
BROKER_POOL_LIMIT = 5
CELERY_RESULT_BACKEND = None
CELERY_MAX_TASKS_PER_CHILD = 10
CELERY_MAX_MEMORY_PER_CHILD = 80000

Procfile:web: gunicorn app_name.wsgi worker: celery -A app_name worker -l info --without-heartbeat

Task.py file:@shared_task(acks_late=True, ignore_result=True)
def function_name(args):

Answer 1

我有同样的问题，将最大并发设置为 2 或 3 解决了问题。

在您的 procfile 中，在 worker 定义中添加 -c 2 或 -c 3。

默认情况下，Celery 会将并发设置为可用的 CPU 数量。并发性定义了将生成的 celery worker 的数量。