gpt4 book ai didi

queue - 分布式限速

转载 作者:行者123 更新时间:2023-12-04 16:11:28 24 4
gpt4 key购买 nike

我有多个服务器/工作人员通过任务队列执行 API 请求。 (Django 与 Memcached 和 Celery 用于队列)API 请求限制为每秒 10 个请求。我怎样才能对它进行速率限制,以便请求总数(所有服务器)不超过限制?

我已经查看了一些相关的速率限制问题,我猜他们专注于更线性的、非并发的场景。我应该采取什么样的方法?

最佳答案

你看了吗Rate Limiter来自 Guava项目?他们在最新版本之一中引入了这个类,它似乎部分满足了您的需求。

当然,它不会在分布式环境中跨多个节点计算速率限制,但您可以做的是根据正在运行的节点数动态配置速率限制(即,对于 5 个节点,您的速率限制为 2 个 API 请求一秒)

关于queue - 分布式限速,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/13906844/

24 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com