amazon-web-services - S3 减速 : Please reduce your request rate exception

Question

我有一个服务，每秒向 S3 发送 10k PUT 请求。 S3 能够在几分钟内处理这些负载，但在那之后开始抛出 SlowDown 异常。它使我的服务速度减慢到无法接受的速度。

我已阅读 this并实现了建议的最佳实践。以下是前缀的格式:bucket-name/[First four of UUID]-[YYYYmmddhhiiss]/[random UUID]/[random UUID].json .然而方法并没有奏效。

知道如何克服这个错误吗？谢谢!
P.S:我已向 AWS Support 中心请求提高 PUT 限制。他们建议的上述步骤不起作用。

Answer 1

S3 是分布式的，您需要确保不创建热点。您可以通过确保您的对象键是真正随机的来避免这种情况。

因此，将 [randome UUID] 移动到对象键的第一部分。如果您没有生成真正随机的 UUID，(即听起来每个对象的前 4 个字符可能相似)，请尝试反转 UUID。

可以找到更多提示here