azure - 在 Azure 表存储中插入 140 亿条记录

Question

在我的一个项目中，我在每个月中旬收到客户订单详细信息，这是一个大约 140 亿行的文件。我需要在 1 周内将它们上传到我的系统(每条记录 1 行)，然后用户可以查询。

基于价格和性能的考虑，我决定使用表存储来存储。但我发现表存储的性能是“每个分区每秒 2000 个实体”和“每个帐户每秒 20,000 个实体”。 https://azure.microsoft.com/en-us/documentation/articles/storage-scalability-targets/

这意味着如果我使用 1 个存储帐户，我需要大约 1 个月的时间来上传它们，这是 Not Acceptable 。

有什么解决方案可以加快我在1周内完成上传任务吗？

Answer 1

对此问题的简单答案是使用多个存储帐户。如果您对数据进行分区并将其 strip 化到多个存储帐户中，您就可以从中获得所需的性能。您只需要另一层来聚合数据。

在后台创建一个大型主表时，您的进程可能会较慢。

您可能已经发现了这个，但是有一个很棒的 article关于将大型数据集导入 Azure 表