python - 使 S3 "folder hierarchy"比解析文件名更快的方法？

Question

我想制作一个相对基本的工具来将 S3 中的存储桶作为文件层次结构进行浏览，而不仅仅是包含斜杠的文件名列表。

目前，我正在使用 boto 获取存储桶中的键名列表，然后解析键名以创建“文件夹”和文件的嵌套字典。然而，这个过程需要很长的时间!即使只是通过每个键来获取所有更高级别文件夹的列表也需要 15 分钟以上。

cyberduck 等工具如何如此快速地提供文件夹列表？

Answer 1

检查此链接:http://docs.aws.amazon.com/AmazonS3/latest/dev/ListingKeysHierarchy.html

listObjects()有一个名为 delimiter 的参数，可以设置为 /生成的对象列表将看起来与文件树完全相同。我想这就是您正在寻找的。