amazon-s3 - 如何在 s3 上复制大文件

Question

我有一个 S3 存储桶，用户可以将非常大的文件上传到 (1-10GB)。然后我处理这些文件并将它们从上传文件夹中复制出来。这适用于小文件，但对于大于 5GB 的文件，我会收到以下错误:

The specified copy source is larger than the maximum allowable size for a copy source: 5368709120 (AWS::S3::Errors::InvalidRequest)

我本来想将处理过的文件复制到一个单独的存储桶中，但如果它们保留在另一个目录中的同一个存储桶中，我也可以。我只需要将它们从上传文件夹中复制出来，这样用户就不会打扰它们(我想将它们存档，最终将它们作为一个非常缓慢的后台进程移动到冰川中)。

提前致谢!

Answer 1

您可以使用多部分副本来做到这一点。具体取决于您使用的语言和 API。