apache-kafka - 有没有办法直接将 Amazon MSK Topic 转储到 S3？

Question

我计划使用 Amazon MSK，我想将消费者日志转储到 S3。但我看不到任何选择。我是否需要编写自己的消费者，或者有没有办法直接将 Amazon MSK 消费者输出消费到 s3？

Answer 1

Kafka Connect 通常是在 Kafka 和系统之间向下(和向上)流(例如 S3)获取数据的最佳(最简单/可扩展/便携/弹性)方式。了解有关 Kafka Connect here 的更多信息在this talk here .

MSK Connect可以在 AWS 上为您的 MSK 运行 Kafka Connect 工作负载。

您的另一个选择是运行您自己的 Kafka Connect worker(连接到 MSK)并使用 S3 sink connector (tutorial)。