amazon-web-services - Elasticsearch - 不断出现 "429 Too Many Requests"错误

Question

运行具有 2 个数据节点的 AWS m4.large.elasticsearch Elasticsearch(服务)实例一年多了，现在没有任何严重问题。由于需求增加，我们设置了 2 个额外的 r6g.large Elasticsearch 实例(它们具有与 m4.large 相同数量的 vCPU 和内存，但根据文档甚至应该提供更好的性能)。

自从使用这些以来，我们的应用程序中一直出现“429 太多请求”错误。经过一番挖掘 https://aws.amazon.com/es/premiumsupport/knowledge-center/resolve-429-error-es/下面的事情已经尝试过但没有成功:

• 将断路器限制提高到 90% => 没有解决问题
• 切换到 c6g.xlarge(具有双倍容量的计算优化实例)=> 没有解决问题
• 启用慢速搜索日志 + 错误日志，希望获得更多信息 => 没有记录任何内容

如果有人对我们如何解决这个问题有任何想法，我们将不胜感激!

PS:“旧”版本运行的是 Elasticsearch 7.7，而新版本运行的是 7.10，但令人惊讶的是，这就是原因。

Answer 1

作为写入拒绝的 429 错误消息表示批量队列错误。每个节点上的批量队列可以容纳 50 到 200 个请求，具体取决于您使用的 Elasticsearch 版本。有多份关于此问题的报告，旧版本的 Elasticache 可能是根本原因。