amazon-web-services - 通过 AWS CLI 将文件上传到 S3 时出现 "Broken pipe"

Question

我的机器上有一个 M4V 文件目录(每个大约 1 GB)，我想上传到我的 S3 存储桶。我决定尝试 AWS CLI，这样我就可以执行命令并让我的计算机完成其余的工作，但它似乎不起作用。

我发出的命令是:

aws s3 cp . s3://yourfightsite-vod/videos/output/m4v --recursive --acl private

但是运行此命令会返回如下输出:

upload failed: ./54cffd1ad106d.m4v to s3://yourfightsite-vod/videos/output/m4v/54cffd1ad106d.m4v HTTPSConnectionPool(host='yourfightsite-vod.s3.amazonaws.com', port=443): Max retries exceeded with url: /videos/output/m4v/54cffd1ad106d.m4v?partNumber=4&uploadId=oG.0CBqIpsRcxO.ZqLIgOOBi8g9JFOKD8wQrmrNFa6Cx9LvGY9_PXiqaaVm6X3fIzXbCor8QSMEeqCfovtivHNFVyea8UNoxrVTpTEvM3ibGBxF30HGPkrxWuA83k6gj (Caused by : Errno 32 Broken pipe)

这是什么意思？什么是“断管”，我该如何纠正它才能使我的上传成功？

Answer 1

What is a “broken pipe” and how can I rectify this so my uploads are successful?

“Broken Pipe”意味着您失去了连接。这可能是亚马逊方面的问题，也可能是您方面的问题......谁知道......关键是你正在沟通，而现在你没有。

最佳解决方案是使用分段上传。在他们自己的文档中，亚马逊建议您使用 multi-part uploads对于超过 100MB 的大文件。看起来 CLI 工具可能已经在使用它了。

解决方案的后半部分是让您的代码优雅地捕获和处理诸如此类的错误(即重试几次，然后敲响警钟)。