amazon-web-services - 如何将数据从 S3 存储桶传输到 Kafka

Question

有关于将数据从 Kafka 主题复制到 S3 的示例和文档，但是如何将数据从 S3 复制到 Kafka？

Answer 1

根据您的场景或上传对象所需的频率，您可以在每个事件上使用 Lambda 函数(例如，每次上传文件时)或作为 cron。这个 lambda 通过使用 Kafka API 作为生产者工作并发布到一个主题。

规范:

Lambda 函数的触发器可以是 s3:PutObject事件来自 directly s3或 cloudwatch events .

您可以运行 lambda as a cron如果您不需要立即使用这些对象。在这种情况下，替代方案也可以在 EC2 实例上运行 cron，该实例具有 Kafka 生产者和从 s3 读取对象的权限，并不断将它们推送到 kafka 主题。