amazon-web-services - 使用前缀和分隔符列出 S3 存储桶的性能

Question

根据listing documentation可以将大量导航键视为分层的。我计划存储大量 key (比如说几亿个)，分布在一个合理大小的“层次结构”中。

使用前缀和分隔符的性能如何？它是否需要在 S3 端完整枚举键，因此是 O(n) 操作？我不知道键是否存储在大哈希表中，或者它们是否具有索引数据结构，或者它们是否存储在树中或其他什么中。

我想避免我有大量键并且导航“层次结构”突然变得困难的情况。

因此，如果我有以下键:

abc/def/ghi/0

abc/def/ghi/1

abc/def/ghi/...

abc/def/ghi/100,000,000,000

会不会影响查询速度 Delimiter='/, Prefix='abc/def' ?

Answer 1

除了 Request Rate and Performance Considerations Sandeep 引用的文档(不适用于您的用例)，AWS 并没有过多地宣传 S3 性能。这可能是私有(private)知识产权。所以我怀疑你会找到很多信息，除非你能以某种方式直接从 AWS 获得。

但是，要记住一些事情:

Amazon S3 专为大规模构建。数以百万计的公司正在使用具有数百万个存储桶中的数百万个 key 的 S3。

AWS 将前缀 + 分隔符推广为一个非常有效的用例。

计算机科学中使用了一些常见的数据结构和算法，AWS 可能在幕后使用这些数据结构和算法来有效地检索 key 。一种这样的数据结构称为 Trie或前缀树。

基于以上所有内容，当您检索键列表时，它可能比 O(n) 阶算法要好得多。我认为您可以安全地为您的层次结构使用前缀和分隔符。