amazon-web-services - 将 S3 中存储的 .csv 文件迁移到 DynamoDB 的方法？

Question

我们在 S3 中存储了数十万个 .csv 文件，每个文件至少包含多个数据记录。 (每条记录都是它自己的行)

我正在尝试设计一种迁移策略来转换 .csv 文件中的所有记录并将其放入 DynamoDB 中。在迁移过程中，我还想确保如果有任何新的 .csv 添加到 S3 存储桶，我们会自动触发 lambda 或其他东西来进行转换并写入 DynamoDB。

最终我们将完全停止写入 S3，但最初我们需要保留这些写入以及对 S3 的任何写入，以触发对 DynamoDB 的写入。有谁知道这样做有什么好的策略吗？ (除了 S3 之外，还有类似 DynamoDB 流的东西吗？)一般来说，有什么策略可以将 S3 中的 .csv 中的现有内容转移到 DynamoDB 吗？

Answer 1

AWS 有许多工具可以用来解决这个问题。这里有一些。

1. 您可以使用 AWS Database Migration Service 。支持迁移数据from S3和 into DynamoDB 。该 AWS 产品专为您的使用案例而设计，它几乎可以处理所有事情。

   Once the migration has started, DMS manages all the complexities of the migration process including automatically replicating data changes that occur in the source database during the migration process.

2. S3可以publish events to trigger a lambda function可用于将数据持续复制到 DynamoDB。

3. AWS Data Pipelines基本上执行批量 ETL 作业，这可以将您的数据一次性从 S3 移动到 DynamoDB。如果您可以容忍将数据复制到 DynamoDB 时出现延迟，您也许还可以运行定期同步作业。
4. AWS Glue可以抓取您的数据、对其进行处理并将其存储在另一个位置。我认为它会为您提供初始负载以及持续的复制。虽然它可以工作，但它更多地针对非结构化数据而设计，并且您拥有通常是结构化的 CSV 文件。

我建议使用 AWS Database Migration Service，因为它是一站式解决方案，但如果您由于某种原因无法使用它，还有其他选择。