amazon-web-services - HIVE_CURSOR_ERROR : Please reduce your request rate

Question

我正在使用 CloudTrail 日志对我的 s3 存储桶运行简单查询。桶很大，大约 1 分 45 秒后出现错误

HIVE_CURSOR_ERROR: Please reduce your request rate.

有没有办法在 Athena 中限制对我的 s3 存储桶的请求率？

SELECT *
FROM default.cloudtrail_logs_cloudtraillog
WHERE eventname = 'DeleteUser' AND awsregion = 'us-east-1'

Answer 1

所以我将总结 AWS 提出的解决方案。它们都不是很好，我想知道为什么 AWS 不会在它们的末端进行节流，而是抛出错误。

默认情况下，S3 将自动扩展以支持非常高的请求率。当您的请求率扩展时，S3 会根据需要自动对您的 S3 存储桶进行分区以支持更高的请求率。但是，有时它仍然会出错。所以他们建议等待(不建议时间范围)给 S3 足够的时间来根据它收到的请求率自动分区您的存储桶。

他们还建议:

1) 使用 S3distcp 实用程序将小文件组合成更大的对象。 https://docs.aws.amazon.com/emr/latest/ReleaseGuide/UsingEMR_s3distcp.html

2) 分区https://docs.aws.amazon.com/athena/latest/ug/partitions.html