amazon-web-services - 在S3上压缩整个目录

Question

如果我在S3上有一个包含5000个小文件的目录，是否可以轻松地将整个目录压缩并在S3上保留生成的zip文件？我需要执行此操作，而不必自己手动访问每个文件。

谢谢!

Answer 1

不，没有魔术子弹。

(顺便说一句，您必须意识到S3中没有“目录”之类的东西。只有带有路径的对象。您可以获得类似目录的 list ，但是'/'字符不是魔术-您可以根据您想要的任何字符获取前缀。)

就像有人指出的那样，“预压缩”它们可以帮助提高下载速度和追加速度。 (以重复存储为代价。)

如果下载是瓶颈，听起来您正在串行下载。 S3可以支持到同一对象的1000个同时连接，而不会费力。您需要运行基准测试以查看最佳连接数，因为S3可能会限制来自一个设备的太多连接。每秒进行1000次连接时，您可能需要做一些TCP tuning。

“解决方案”在很大程度上取决于您的数据访问模式。尝试重新安排问题。如果单文件下载很少，那么将它们一次100个分组到S3中，然后在需要时将它们分开，可能更有意义。如果它们是小文件，则将它们缓存在文件系统上可能是有意义的。

或者将所有5000个文件作为一个大的zip文件存储在S3中，并使用一个“智能客户端”可以下载该zip文件的特定范围以服务各个文件，这可能是有道理的。 (我记得S3支持字节范围。)