amazon-web-services - 将大量数据上传到 Azure Blob 存储的最有效方法

Question

我们经常需要将大型 Assets 包(1GB+)上传到 Azure BlobStorage，稍后再从那里下载。这些软件包需要在存储之前进行压缩，因此不久前我们为办公室购买了一台功能强大的 PC，您可以通过 RDP 将其安装到该 PC 上，以便我们可以及时压缩这些软件包。

我们现在正在考虑重新设计工具，并且此流程现在需要(a) 可扩展，以便多个客户可以使用它，(b) 防灾 strong>，这样，如果我们的办公室被抢劫，整个过程就不会被破坏，并且(c)高效，如果我们有一个解决方案，可以得到 a 点和 b 点，但速度很慢，没有人会使用它.

我一直在考虑编写一个 Azure 函数或 AWS Lambda，我们可以用它来运行 zip 进程，这可以解决 a 和 b 问题，但是这可能需要我们将包上传到存储，在存储中将触发将其压缩并传递的函数。但初始上传过程需要优化，这样我们就不会损失太多速度。

tl;博士

将大型包从本地开发环境上传到 Azure BlobStorage 的最有效方法是什么？

Answer 1

最简单且高性能的解决方案可能是使用 AzCopy(请参阅 https://learn.microsoft.com/en-us/azure/storage/common/storage-use-azcopy-v10 )。 AzCopy 被认为速度很快，它基于 CLI，因此您可以手动运行它或编写脚本，并且它是跨平台的 (Win/Mac/Linux)。它有大量适用于各种情况的选项(阅读文档)，并且可以处理各种身份验证方法。它还具有内置的弹性——它会自动重试失败的上传最多 20 次(使用它自己的指数退避逻辑)。