amazon-web-services - 如何获取具有特定模式的 aws 存储桶上的文件列表

Question

我正在寻找一种方法来从 aws 获取具有特定模式的文件列表。但是好像支持不了。

详细说明:

我在 AWS 中有一个存储桶，其中包含数十万个文件，我想找到具有特定模式的存储桶。例如，我想找到存储桶中所有“my*.txt”的文件并列出它们。

如果我运行这个命令:

aws s3 ls s3://my_bucket/  --recursive > byBucketList.txt

然后我可以在文本文件中搜索我的文件并找到它们在哪里。但是我无法运行这样的东西:

 aws s3 ls s3://my_bucket/my*.txt  --recursive > byBucketList.txt

只获取我要查找的文件列表。

有什么方法可以获取 AWS 存储桶上具有特定模式的文件列表？

Answer 1

很遗憾，您不能使用 s3 ls 执行此操作。但是你可以使用 Exclude and Include Filters与 --dryrun 一起用于支持过滤器的命令。例如，对于 s3 cp:

aws s3 cp s3://my_bucket ./. --recursive --dryrun --exclude "*" --include "my*.txt"

--dryrun (boolean) Displays the operations that would be performed using the specified command without actually running them.

这应该打印出所有在没有 --dryrun 选项的情况下正常复制的对象。

由于您有一个大桶，您可以在小桶上测试它只是为了感受命令的感觉，因为它的输出与 s3 ls 不同。