amazon-web-services - Kinesis Firehose 上的慢 PutRecordBatch

Question

我们的 PutRecordBatch 写入 EU-West-1 中的所有 Kinesis firehose Streams 的速度非常慢。这已经发生了好几天。

它最初是一个运行缓慢的 Lambda 函数，因此我们查看了 Lambda X-ray 以查看出现减速的位置及其始终如一的写入连接以放置 Firehose。有时他们会立即成功，有时他们需要几秒钟甚至几分钟才能完成。我们写入多个 Firehose 流，并且流中的减速似乎是随机的(见下文)。



非常感谢任何帮助。感觉就像我们达到了某种限制，即限制了我们的请求？？？

Answer 1

我遇到了类似的问题并使用异步客户端修复它:AmazonKinesisFirehoseAsync .

结果令人难以置信，更早的put非常不一致并且在某些请求中花费了几秒钟，但是在使用 AmazonKinesisFirehoseAsync 之后它要快得多。以下是有关如何使用它的代码片段:

AmazonKinesisFirehoseAsyncClientBuilder builder = AmazonKinesisFirehoseAsyncClientBuilder.standard().withRegion("us-west-2"); // put your own region
AmazonKinesisFirehoseAsync firehoseAsync = builder.build();
// put request
firehoseAsync.putRecord(putRecordRequest);

要添加 X 射线追踪，您可以按如下方式构建客户端:

AmazonKinesisFirehoseAsync firehoseAsync = builder.withRequestHandlers(new TracingHandler(AWSXRay.getGlobalRecorder())).build();