python - 从 DynamoDB 表到另一个 DynamoDB 表的数据传输

Question

我在 DynamoDB 中有一个大小为 15 GB 的表。现在我需要将一些基于时间戳的数据(位于数据库中)传输到另一个 DynamoDB。这里最有效的选择是什么？

a)传输到S3，用pandas或其他方式处理并放入另一个表中(数据很大。我觉得这可能需要很长时间)

b)通过 DataPipeLine(读了很多，但不认为我们可以在那里放置查询)

c) 通过 EMR 和 Hive(这似乎是最好的选择，但是是否可以通过 python 脚本完成所有操作？我需要创建一个 EMR 集群并使用它还是每次都创建并终止？EMR 如何才能做到这一点？也能高效且廉价地使用吗？)

Answer 1

我建议将数据管道引入 S3 方法。然后使用脚本从 S3 读取并处理您的记录。您可以安排它定期运行以备份所有数据。我认为任何执行完整扫描的解决方案都不会为您提供更快的方法，因为它始终受到读取吞吐量的限制。

另一种可能的方法是使用 dynamoDB 流和 lambda 来实时维护第二个表。不过，您首先需要使用上述方法处理现有的 15 GB，然后切换到 lambda 以使它们保持同步