amazon-web-services - AWS Firehose 缓冲

Question

将记录写入到配置为 S3 作为输出目标的 AWS Firehose 时，此数据在写入 S3 之前缓冲了多长时间？或者是否有最小尺寸阈值？

例如，我正在执行以下操作来添加记录:

aws cli:

aws firehose put-record --delivery-stream-name mytestfirehoseafds --record='Data="{\"asdf\":\"testam\"}"'

结果:

    {
    "RecordId": "meESlTCUOBQwXaJ9NOVwKOLrEL+7y/glB0mIJ6h6Sz8lOJGUX/N+DlZttq4BQuY528j6ResbxQBR4To+V1RMbBvE4rcxP3kYwg0lmdBAEFWlNnzUb3nP214ywtRYRQ7IzCOjY9o1YPpqHNCCYkPd4Qr0StIFxIiBHHZvTcfW+qMbQkcy7Rr3R+wb+RVs9fEF2Fa8P6mD2NXJOE84sasPNYB/mrjaSMn9"
}

我没有立即在我的 S3 存储桶中看到这一点，但是如果我在 aws 控制台中使用“测试数据”功能，我会看到文件被添加到 S3，测试数据包括我上面的测试记录。

所以我的问题是，

1.) Firehose 是否有某种缓冲阈值，在将缓冲数据写入输出源之前必须达到该阈值？

2.) 如何确定在任何给定时间流水缓冲区内有哪些数据/记录？

Answer 1

1) 是的，它可以在 firehose 中配置

Kinesis Firehose buffers incoming data before delivering it to Amazon S3. You can choose a buffer size (1-128 MBs) or buffer interval (60-900 seconds); whichever condition is satisfied first triggers data delivery to Amazon S3.

Creating an Amazon Kinesis Firehose Delivery Stream

2)你不能。 Firehose 不会公开挂起的数据。