amazon-web-services - 通过负载将 AWS Kinesis Firehose 数据分区到 s3

Question

这个问题在这里已经有了答案:





Write parquet from AWS Kinesis firehose to AWS S3

(3 个回答)


4年前关闭。




我正在使用 AWS-Kinesis-Firehose 将数据注入(inject) S3，然后与 Athena 一起使用。

我正在尝试分析来自不同游戏的事件，以避免 Athena 探索大量数据我想使用每个游戏的标识符对 s3 数据进行分区，但到目前为止我还没有找到解决方案，因为 Firehose 接收来自不同游戏的数据。

有谁知道该怎么做？

谢谢，
哈维。

Answer 1

您可以使用 Amazon Kinesis Analytics根据某些逻辑(例如游戏 ID)将传入的 Firehose 流拆分为单独的输出流。

它可以接受 KinesisFirehoseInput并将数据发送到 KinesisFirehoseOutput .

但是，limits documentation似乎表明每个应用程序只能有 3 个输出目标，所以这还不够。