gpt4 book ai didi

python - CeleryBeat 进程消耗所有操作系统内存

转载 作者:太空狗 更新时间:2023-10-29 18:09:02 24 4
gpt4 key购买 nike

我们正在使用

django-celery==3.1.10
celery==3.1.20
python 2.7.13

我们编写了一个 CustomDataBaseScheduler 来调度任务,它可以完美地按时调度任务。我们正在运行 CeleryBeat Process 作为初始化脚本,但 celeryBeat 消耗了系统的全部内存,即一天 24GB。

我尝试在 celerybeat 进程上运行 pmap,但它显示 [anon] 占用了最多内存。

谁能帮忙调试和修复这个问题。

最佳答案

首先,如果您使用的是 django 1.8 或更高版本,请使用 celery 4.0 及更高版本。在这种情况下,您将不需要 django-celery。同样在这种情况下,请遵循本教程。 http://docs.celeryproject.org/en/latest/django/first-steps-with-django.html

出现您的问题可能是以下原因之一:

  1. 您的 worker 重载运转。尝试使用提到的并发 here
  2. 检查您的 Django 设置 DEBUG 是否设置为 True。它可能会导致内存泄漏,当您运行它时,celery 建议您不要这样做。
  3. 检查 history 中的内存泄漏修复程序.对我来说,它似乎是你的下一个版本,3.1.21准确地说有一些内存泄漏修复。尝试升级到最新的 3.x 版本(仅当您出于任何原因无法使用 4.x 时。)
  4. 如果一切都失败了,请尝试使用一些监控工具来调试有关正在发生的事情的场景。提到了一些监控工具here .

关于python - CeleryBeat 进程消耗所有操作系统内存,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/45366680/

24 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com