python - Celery:实例在一两周后变得缓慢

Question

我有一个带有 celery 实例的 django 应用程序，每天多次消耗和同步大量数据。我会注意到，我使用 asyncio 来调用不是为异步设计的 API 库。我注意到，大约一周后，服务器变得非常缓慢，甚至几周后任务可能会落后几天。

查看我的主机的分析器，RAM 或 CPU 使用情况并没有变得疯狂，但我知道它每周都变得越来越慢，因为 celery 实例还在特定时间处理电子邮件，这些电子邮件会在几周后发送出去通过。

重新启动实例似乎可以立即修复所有问题，让我相信我遇到了内存泄漏(但内存并没有疯狂)或未关闭线程之类的问题(我不知道如何检测这一点和CPU)不会变得疯狂)。

有什么想法吗？

Answer 1

这听起来像是一个非常熟悉的 celery 问题，它仍然在 Github 上打开 - here

我们遇到了类似的问题，遗憾的是没有找到好的解决方法。

看来this评论发现了问题，但我们没有时间找到并实现解决方法，所以我不能肯定地说 - 如果您发现有帮助解决的问题，请更新。由于这是开源的，除了社区本身之外，没有人负责进行修复:)