django - Heroku celery 后台任务

Question

我们有一个在 Heroku 上使用 django-celery 运行的简单任务。就像是:

@task
Simple_task():
    for line in csv.reader(origin):
        process_line(line)

process_line(line):
    fields = parse_line(line)
    reg = Model1() # Django model
    reg.field1 = fields[0]
    reg.field2 = fields[1]
    reg.field3 = fields[2]
    reg.save()

其中 origin 是一个 csv 文件。当文件很大(超过 50.000 行)时，任务会占用所有内存，导致 R14 错误，直到被系统取消(512 MB 可用内存的 150%)。内存永远不会释放，我们必须手动重新启动任务。

在 Linux 机器上运行或在开发机器上与工头一起运行，它毫无问题地完成(全部 170.000 行)。它似乎只在 Heroku 上泄漏内存。
顺便说一下，我们用 DEBUG=False 运行。

Heroku 执行 celery 任务有什么问题吗？我们有什么可以遗漏的吗？这已成为在 Heroku 上部署的阻碍。

任何帮助将不胜感激。

Answer 1

我同意 JoshB 的观点，在您的情况下，它似乎需要超过 512MB 的内存。

如果你做任务怎么办 process_line并创建它们的队列而不是处理整个文件的任务。在这种情况下，您在 Heroku 上的内存不会重载。

另一个可能的解决方案是来自 Heroku 的新服务，您可以在其中使用 1GB RAM 在您的 dynos 上。 链接: 2x dynos beta