amazon-web-services - 将 s3 上的多个 zip 文件合并为较少的 zip 文件

Question

我们有一个问题，其中 s3 目录中的某些文件在 ~500MiB 范围内，但许多其他文件在 KiB 和字节范围内。我想将所有的小文件合并成大约 500MiB 的更少的大文件。

在 s3 文件夹中重写数据的最有效方法是什么，而不必下载、在本地合并并推回 s3。是否有一些实用程序/aws 命令可以用来实现它？

Answer 1

S3 是一种存储服务，没有计算能力。对于您的要求，您需要计算(合并)。因此，如果不下载、合并和上传，您就无法做您想做的事。