amazon-web-services - 我是否需要每天为 AWS Dynamo DB 设置备份数据管道？

Question

我正在考虑将 AWS DynamoDB 用于我们正在构建的应用程序。我了解设置将数据从 DynamoDB 导出到 S3 的备份作业涉及带有 EMR 的数据管道。但我的问题是，我是否需要担心在第一天就设置备份作业？发生数据丢失的可能性有多大？

Answer 1

在其他地方复制 DynamoDB 表数据有多个用例:

(1) 每天在 S3 中创建一个备份，以便在意外删除数据或更糟的情况下删除表(代码错误？)时恢复

(2) 在 S3 中创建一个备份，作为您分析工作流程的起点。在 S3 中备份此数据后，您可以将其与 RDBMS 系统(RDS 或内部部署)或日志文件中的其他 S3 数据结合起来。数据集成工作流可能涉及最终加载到 Redshift (ETL) 中以进行 BI 查询的 EMR 作业。或者直接将它们加载到 Redshift 中以执行更多 ELT 样式 - 因此在 Redshift 中发生转换

(3) 将数据(整组或子集)从一个表复制到另一个表(在同一区域内或另一区域内)- 因此可以对旧表进行垃圾回收以控制增长和成本控制。这种表到表的副本也可以用作随时可用的备份表，以防出现特定区域的可用性问题。或者，使用此机制将数据从一个区域复制到另一个区域，以便从更靠近使用它的 DynamoDB 客户端应用程序的端点提供数据。

(4) 定期从 S3 恢复数据。可能作为一种将分析后数据加载回 DynamoDB 的方式，以便在具有高并发、低延迟要求的在线应用程序中提供服务。

AWS Data Pipeline 通过灵活的数据传输解决方案(在底层使用 EMR)帮助安排所有这些场景。

使用这些解决方案时需要注意的是，这不是时间点备份:因此在备份期间对基础表进行的任何更改都可能不一致。