amazon-s3 - 既然我要迁移到 Amazon S3，如何组织超过一百万个文件？

Question

嗯，我正在从共享主机启动，并且正在切换到 Linode 的 VPS 组合和 Amazon S3 来托管数百万张 jpeg。

我最担心的是对所有这些图像保持某种理智。这还有希望吗？我的理解是你只允许有 100 个“桶”，而“桶”是 S3 中唯一的结构类型。

您是否建议不要将数百万个文件放入存储桶中？

Answer 1

您可能会在 Bucket Restrictions and Limitations 中注意到，指出:

There is no limit to the number of objects that can be stored in a bucket

我的经验是，单个存储桶中的大量对象不会影响通过其键获取单个对象的性能(即，get 看起来具有恒定的复杂性)。

还拥有大量对象 does not affect the speed of listing a given number of objects :

List performance is not substantially affected by the total number of keys in your bucket

但是，我必须警告您，我使用过的大多数 S3 管理工具(如 S3Fox)在尝试访问包含大量对象的存储桶时都会窒息并缓慢死亡。 S3 Browser 似乎可以很好地处理大量对象的一种工具。 (他们有免费版本和专业版本，我与他们没有任何关系)。

使用“文件夹”或前缀，不会改变任何这些点(获取和列出给定数量的对象仍然是不变的，大多数工具仍然会自行崩溃并挂起)。