azure-cosmosdb - cosmosdb - 将超过 n 年的数据存档到冷存储中

Question

我研究了几个地方，但找不到有关将旧数据从 cosmosdb 存档到冷存储的选项的任何方向。我看到 AWS 中的 DynamoDb 提到您可以将 dynamodb 数据移动到 S3 中。但不确定 cosmosdb 有哪些选项。我知道有时间选择，数据将在特定日期后删除，但我对存档和删除感兴趣。任何方向将不胜感激。谢谢

Answer 1

我认为 CosmosDB 中没有单击内置功能来实现这一点。

不过，正如您提到的欣赏任何方向，那么我建议您考虑 DocumentDB Data Migration Tool .

数据迁移工具注意事项:

• 您可以指定一个查询以仅提取冷数据(例如，通过存储在文档中的创建日期)。
• 支持导出导出到各种目标(JSON文件，blob存储、数据库、另一个 cosmosDB 集合等。)，
• 压缩过程中的数据 - 可以将文档合并为单个数组文档并将其压缩。
• 设置好配置后，您可以编写脚本使用您最喜欢的日程安排工具自动触发。
• 您可以轻松反转源和目标，将冷数据恢复到事件存储(或开发、测试、备份等)。

要删除导出的数据，您可以使用提到的 TTL 功能，但如果导出步骤失败，这可能会导致数据丢失。我建议编写并执行一个存储过程，以通过一次调用查询和删除所有导出的文档。该 SP 不会自动执行，但可以包含在自动化脚本中，并且只有在数据首先成功导出时才会执行。请参阅:Azure Cosmos DB server-side programming: Stored procedures, database triggers, and UDFs .

更新:这些天 CosmosDB 添加了 Change feed .这确实简化了在其他地方写一份副本。