amazon-s3 - 使用特定前缀的过滤器使用 aws-cli 从 S3 下载

Question

由于某种原因，有一个存储桶，里面有一堆不同的文件，所有这些文件都具有相同的前缀，但日期不同:

backup.2017-01-01aa

backup.2017-01-01ab

backup.2017-01-15aa

backup.2017-01-15ab

backup.2017-02-01aa

backup.2017-02-01ab

etc..

如何仅下载以“backup.2017-01-01”开头的文件？

Answer 1

我认为--include在本地进行过滤。因此，如果您的存储桶包含数百万个文件，则该命令可能需要几个小时才能运行，因为它需要下载存储桶中所有文件名的列表。此外，还有一些额外的网络流量。

但是aws s3 ls可以使用截断的文件名来列出所有相应的文件，而不需要任何额外的流量。所以你可以

aws s3 ls s3://yourbucket/backup.2017-

查看您的文件，以及类似的内容

aws s3 ls s3://yourbucket/backup.2017- | colrm 1 31 | xargs -I % aws s3 cp s3://yourbucket/% .

复制您的文件。