elasticsearch - 将数据从 Dynamodb 发送到 Amazon Elasticsearch 的最佳方式

Question

我想知道将数据从 dynamoDB 发送到 elasticsearch 的最佳方式是什么。

1. AWS SDK JS。 https://github.com/Stockflare/lambda-dynamo-to-elasticsearch/blob/master/index.js

2. DynamoDB logstash 插件:https://github.com/awslabs/logstash-input-dynamodb

Answer 1

关注此 AWS 博客。他们详细描述了它是如何以及应该如何完成的。

https://aws.amazon.com/blogs/compute/indexing-amazon-dynamodb-content-with-amazon-elasticsearch-service-using-aws-lambda/

---

编辑

我假设您使用 AWS elasticsearch 托管服务。

1. 您应该使用 Dynamodb 流来监听变化(其中，您将有新项目添加到 dynamodb 的事件)。
2. 创建新的 Kinesis Firehose 流，设置为将所有记录输出到您的 elasticsearch 实例。
3. 创建一个由 DynamoDB 流中的新项目事件触发的新 lambda。
4. lambda 将获得唯一的 DynamoDB 记录 ID，因此您可以获取它，获取记录负载并将其提取到 Firehose 流端点。
5. 根据您的 DynamoDB 记录大小，您可以启用将记录的负载包含在流项目中的选项，这样您就不需要从表中提取它并使用您设置的配置容量。