amazon-web-services - S3分区策略

Question

完全了解有关如何在存储桶中命名 S3 对象以优化性能的文档

看不懂本文的例子https://aws.amazon.com/blogs/aws/amazon-s3-performance-tips-tricks-seattle-hiring-event/

2134857/gamedata/start.png
2134857/gamedata/resource.rsrc 
2134857/gamedata/results.txt
2134858/gamedata/start.png
2134858/gamedata/resource.rsrc
2134858/gamedata/results.txt
2134859/gamedata/start.png
2134859/gamedata/resource.rsrc
2134859/gamedata/results.txt

文章说“所有这些读取和写入基本上都会转到同一个分区”

但我们应该有三个分区

2134857、2134858、2134859

， 对 ？

如果我们反转 id

7584312/gamedata/start.png
7584312/gamedata/resource.rsrc
7584312/gamedata/results.txt
8584312/gamedata/start.png
8584312/gamedata/resource.rsrc
8584312/gamedata/results.txt
9584312/gamedata/start.png
9584312/gamedata/resource.rsrc
9584312/gamedata/results.txt

我们还有三个分区 7584312、8584312、9584312

有什么不同。

什么是前缀的定义及其与分区策略的关系。

Answer 1

S3 分区不会(总是)发生在完整 ID 上。它通常是 ID 上的某种部分匹配。您的第一个示例很可能位于使用分区匹配(例如 2134、21348 或 213485)的同一分区上。

您链接到的博客文章中的更多信息:

As we said, S3 has automation that continually looks for areas of the keyspace that need splitting. Partitions are split either due to sustained high request rates, or because they contain a large number of keys (which would slow down lookups within the partition). ... This split operation happens dozens of times a day all over S3 and simply goes unnoticed from a user performance perspective.