redis - 使用redis作为代理的celery，结果后端使用了太多的redis连接

Question

我们有一个以redis作为代理和结果后端的celery集群，大约有100多个服务器和200多个队列，当前，redis连接(9000+)接近最大连接阈值(10000)，并且仍在增加在将新服务器添加到群集时逐步进行。

我们在celery上中继任务状态以执行更多检查，因此我们无法设置ingore_result=True(此方法可以快速减少redis连接，但考虑到其他功能的限制，我们无法使用它)，并且BROKER_POOL_LIMIT已经设置为0，但效果不大，还有其他方法可以减少Redis连接吗？

Answer 1

我也曾以redis作为代理和结果后端来面对这个问题，由于单线程性质，如此巨大的负载redis表现不佳，并且对于每个任务，它都必须将结果保存为单独的键。
您可以尝试重新整理 celery ，以使用AMQP系统(例如RabbitMq)作为代理，并使用redis作为结果后端。
看看这篇文章，它解释得很好
http://techscouter.blogspot.com/2018/05/celery-with-heavy-workloads.html