amazon-s3 - 在交付给S3之前，可以在Kinesis Firehose中自定义分区吗？

Question

我有一个Firehose流，旨在吸收来自不同来源和不同事件类型的数百万个事件。流应将所有数据作为原始\未更改数据的存储传递到一个S3存储桶。

我当时正在考虑根据事件消息中嵌入的元数据(例如事件源，事件类型和事件日期)在S3中对数据进行分区。

但是，Firehose根据记录到达时间遵循其默认分区。是否可以自定义此分区行为以满足我的需求？

Answer 1

不能。您不能基于事件内容进行“分区”。

一些选项是:

发送到单独的Firehose流

发送到Kinesis数据流(代替Firehose)并编写您自己的自定义Lambda函数来处理和保存数据(请参阅:AWS Developer Forums: Athena and Kinesis Firehose)

使用Kinesis Analytics处理消息并将其“定向”到不同的Firehose流

如果要将输出与Amazon Athena或Amazon EMR一起使用，则还可以考虑将其转换为Parquet格式，其格式为 much better performance。这将需要对S3中的数据进行批处理，而不是在数据到达流中时对其进行转换。