amazon-web-services - 具有分段上传功能的适用于 Linux 的 AWS S3 客户端

Question

关闭。这个问题不满足Stack Overflow guidelines .它目前不接受答案。












想改善这个问题吗？更新问题，使其成为 on-topic对于堆栈溢出。

5年前关闭。




Improve this question




您在具有分段上传功能的 linux 中使用什么 amazon s3 客户端？我有 6GB 的 zip 文件要上传，s3curl 是不可能的，因为最大限制只有 5GB。

谢谢。
詹姆士

Answer 1

我用 S3 Tools ，它将自动为所有 PUT 命令使用大于 15MB 的文件的分段上传功能:

Multipart is enabled by default and kicks in for files bigger than 15MB. You can set this treshold as low as 5MB (Amazon’s limit) with —multipart-chunk-size-mb=5 or to any other value between 5 and 5120 MB

安装和配置后，只需发出以下命令:

~$ s3cmd put largefile.zip s3://bucketname/largefile.zip

或者，您可以只使用 split从 zip 文件的命令行:

split -b1024m largefile.zip largefile.zip-

并稍后在您的文件系统上使用以下命令重新组合:

cat largefile.zip-* > largefile.zip

如果您选择第二个选项，您可能希望在上传之前存储文件的 MD5 哈希值，以便您可以在稍后重新组合存档时验证存档的完整性。