amazon-s3 - 有效地将许多小文件移动到 Amazon S3

Question

我有大约 60,000 个小图像文件(总大小为 200mb)，我想将它们从我的项目存储库中移出到 Amazon S3。

我尝试过 s3fs ( http://code.google.com/p/s3fs/ )，通过 Mac OS X 上的 Transmit 以及 Amazon AWS S3 网络上传器安装 S3。不幸的是，所有这些似乎都需要很长时间，超过一两天才能完成任务。

有没有更好的办法？

Answer 1

有几件事情可能会限制数据流，每件事情都有不同的缓解方法:

您的传输应用程序可能会增加开销。如果 s3fs 太慢，您可以尝试其他选项，例如 AWS 控制台上的 S3 选项卡或 s3cmd 之类的工具。

您的计算机和 S3 之间的网络延迟以及 API 调用响应的延迟可能是您可以在单个线程中执行多少操作的重要因素。解决这个问题的关键是并行上传多个文件(几十个)。

您和 S3 之间的网络连接可能很慢，从而限制了可能的总数据传输速度。如果可以压缩文件，则可以将它们以压缩形式上传到临时 EC2 实例，然后解压缩并从实例上传到 S3。

我的赌注是第 2 点，这并不总是最容易解决的，除非您有可以为您并行化的上传工具。