gpt4 book ai didi

amazon-dynamodb - 将数据从 Amazon dynamoDB 加载到 redshift

转载 作者:行者123 更新时间:2023-12-05 00:22:16 25 4
gpt4 key购买 nike

我们在生产中有一个不断更新的 DynamoDB 表,我们希望将所有记录从 dynamoDB 加载到 redshift。

我们尝试使用复制命令,但由于新记录不断插入表中,因此复制命令将永远运行。

我们想知道将数据从实时 dynamodb 加载到 redshift 的最佳方式是什么。

最佳答案

考虑查看 DynamoDB Streams基于的解决方案。 Streams 提供在每个 DynamoDB 分区上发生的数据平面事件的有序日志(因此每个主键的事件都是绝对有序的)。您可以使用 Kinesis Client LibraryDynamoDB Streams Kinesis Adapter将 Stream 处理为 Redshift。

DynamoDB Streams 目前处于预览阶段,但很快就会全面推出。

关于amazon-dynamodb - 将数据从 Amazon dynamoDB 加载到 redshift,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/30215248/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com