Azure Blob 存储限制

Question

我们正在尝试从我们的一个 Blob 存储帐户中移动一些数据，但我们受到了限制。

最初，我们的速度为 9gbps，但很快就降到了 1.1gbps。

我们还开始收到错误消息，指出 Azure 强制关闭了连接，导致网络超时。

有人经历过这种情况或者对增加限制有任何了解吗？

Answer 1

根据官方文档Storage limits Azure 订阅和服务限制、配额和约束中，您的场景存在一些不能绕过的限制，如下所示。

1. Maximum request rate1 per storage account: 20,000 requests per second
2. Max egress:
   • for general-purpose v2 and Blob storage accounts (all regions): 50 Gbps
   • for general-purpose v1 storage accounts (US regions): 20 Gbps if RA-GRS/GRS enabled, 30 Gbps for LRS/ZRS 2
   • for general-purpose v1 storage accounts (Non-US regions): 10 Gbps if RA-GRS/GRS enabled, 15 Gbps for LRS/ZRS 2
3. Target throughput for single blob: Up to 60 MiB per second, or up to 500 requests per second

考虑到下载数据到本地环境，除了您的网络带宽和稳定性之外，您必须计算每个 blob 的最大并发请求数不超过 500 且所有请求总数不超过 20,000 如果您想以编程方式移动数据。所以这是高并发控制的关键。

如果只是在 Azure 内部移动数据或不通过编程，最好的方法是使用官方的传输数据工具 AzCopy(适用于 Windows 或 Linux )和 Azure Data Factory 。然后您将不需要考虑这些限制，只需等待移动进度完成即可。

如有任何疑问，请随时告诉我。