java - 动态速率限制器以避免数据库限制

Question

我们有一项服务，它有一个单一的 API(处理单个实体)，平均延迟=400 毫秒和一个批处理 API，在一次调用中处理大约 2000 个实体[延迟=200 秒]。 api 都读取和写入数据库表。两个 api 处理的数量有很大不同。单一 api 具有明确定义的模式，该模式具有以恒定速率增加和减少的每日最大值和最小值。 ddb 表能够很好地处理这种流量。当批量 api 每天开始接收大约 2-3 小时的流量并且每秒处理的实体数量是其他 api 的 20 倍时，问题就出现了。这会对数据库表的写入/读取产生影响，而数据库表无法以如此快的速度自动缩放。 .

我们正在考虑诸如速率限制之类的选项，以实现调整流量以遵守数据库自动缩放。我们不希望采用固定费率，因为这会影响客户的 SLA(面向运营商的工具)。有没有办法实现动态速率限制，可以根据当前流量进行扩展，并允许数据库有足够的时间自动扩展？

Answer 1

请尝试查看 Netflix Concurrency Limits 提供的解决方案

有关相同内容的更多详细信息可以在这篇精彩的文章 Performance Underload 中找到。