mongodb - AWS : How to save Streaming data to database hosted on EC2 ( ex. MySQL/MongoDB)

Question

我们可以轻松地在不同的 AWS 服务之间保存数据，例如。 Kinesis 到 DynamoDB；或 AWS IoT 到 Redshift 等。

但是保存流数据的最佳策略是假设 MongoDB(它没有 AWS PaaS；Atlas 在那里，但它没有与其他 AWS 服务集成)

我可以看到有一些第三方解决方案；但是在 AWS 本身上实现的最佳策略是什么......为每个插入(批处理)执行 lambda 函数是唯一的选择吗？

Answer 1

我假设您正在使用 Kinesis Firehose。如果是这种情况，您可以做的是:

从 Firehose 每 5 分钟写入一次 S3。

Firehose 将每 5 分钟在 S3 上创建一个新文件。

触发 Lambda 函数以读取 S3 上的新文件。

将新文件的数据写入MongoDB。

如果您使用的是 Kinesis(不是 firehose)，您可以简单地编写一个 Kinesis 使用者，它将从 Kinesis 读取数据并直接写入 MongoDB。

仅供引用，有像 API 一样带有 MongoDB 的 DocumentDB，您可以将其用作 AWS Hosted MongoDB