amazon-s3 - 如何将Kinesis流存储到S3存储桶中特定文件夹结构中的S3存储中

Question

我有Kinesis Stream捕获的事件。我想将所有事件放在S3上的特定文件夹结构上。我想制作一个带有日期戳的文件夹，就像6月15日的所有事件都应该放在该文件夹中，然后从6月16日开始，新文件夹应该来选择事件，依此类推。

作为Kinesis的新手，我只是去处理文档，我发现有一个连接器框架，其中S3Emitter与配置一起用于选择需要发送数据的S3位置。但是有人可以建议我如何维护文件夹结构在日期明智的文件夹中捕获事件日期？

Answer 1

不幸的是，目前您所寻找的功能在S3Emitter的Amazon Kinesis中不可用，相反，它只是用作根据输入数据量刷新的缓冲区，请参见相应。 comment:

This implementation of IEmitter is used to store files from a Kinesis stream in S3. [...] When the buffer is full, this class's emit method adds the contents of the buffer to S3 as one file. The filename is generated from the first and last sequence numbers of the records contained in that file separated by a dash. [...] [emphasis mine]

另外，Kinesis没有事件(重设数据记录)的第一级日期概念，而只处理序列号，因此您需要添加重设。应用程序级别的日期处理，请参阅 Amazon Kinesis Terminology中的“数据记录”部分:

Data records are the units of data that are stored in an Amazon Kinesis stream. Data records are composed of a sequence number, a partition key, and a data blob, which is an un-interpreted, immutable sequence of bytes. The Amazon Kinesis service does not inspect, interpret, or change the data in the blob in any way. [...] [emphasis mine]