amazon-web-services - 更快的 s3 存储桶复制

Question

我一直在尝试寻找比 s3cmd 更好的复制存储桶的命令行工具。 。 s3cmd 可以复制存储桶，而无需下载和上传每个文件。我通常使用 s3cmd 运行来复制存储桶的命令是:

s3cmd cp -r --acl-public s3://bucket1 s3://bucket2

这可行，但速度非常慢，因为它一次通过 API 复制一个文件。如果s3cmd能够以并行模式运行，我会非常高兴。

是否还有其他选项可作为命令行工具或代码用于复制比 s3cmd 更快的存储桶？

编辑:看起来像 s3cmd-modification这正是我正在寻找的。可惜它不起作用。还有其他选择吗？

Answer 1

AWS CLI 似乎完美地完成了这项工作，并且具有作为官方支持的工具的优势。

aws s3 sync s3://mybucket s3://backup-mybucket

http://docs.aws.amazon.com/cli/latest/reference/s3/sync.html

默认支持并发传输。请参阅http://docs.aws.amazon.com/cli/latest/topic/s3-config.html#max-concurrent-requests

要快速传输大量小文件，请从 EC2 实例运行脚本以减少延迟，并增加 max_concurrent_requests 以减少延迟的影响。例如:

aws configure set default.s3.max_concurrent_requests 200