amazon-web-services - AWS CLI - 在不同的 S3 存储桶之间移动文件

Question

我尝试使用 AWS CLI 在两个不同账户的两个 S3 存储桶之间移动文件。我能够成功地制作文件的测试副本。现在我的问题是，通过 CLI 可以实现以下场景吗？

现有结构:

S3 => Videos(bucket) => ID(folder) => list of transcoded video files

S3 => Thumbnails(bucket) => ID(folder) => list of thumbnails

新结构:

S3 => Company(bucket) => dev/prod(folder) => ID(folder) => Videos(folder) => list of transcoded video files

                                                        => Thumbnails(folder) => list of thumbnails

ID 文件夹还将有一个缩略图(文件夹)=> 缩略图列表

因此，基本上将两个 S3 存储桶数据合并到新结构中的一个存储桶中。是否可以使用 CLI 进行这种复制？如果是这样，请指导我采用这种方法。

Answer 1

这在 AWS CLI 中是不可能的，因为它不是简单的源->目标副本。

您要么需要编写自己的解决方案(例如使用Python脚本)，要么我有时做的是创建一个Excel电子表格，其中包含源文件列表和一些计算目标的公式.

结果是您想要创建一个公式:

aws s3 sync s3://video-bucket/123/ s3://company-bucket/dev/123/videos/
aws s3 sync s3://thumbnails-bucket/123/ s3://company-bucket/dev/123/thumbnails/

电子表格应对源列表中的每个 ID 执行此操作。

在 ID 副本上尝试一下，看看是否有效。如果是，请将所有命令复制到文本文件中并使用 shell 执行它。