amazon-web-services - 有多个 s3 存储桶还是一个带有子文件夹的存储桶更好？

Question

每个上传类别有多个 s3 存储桶，还是一个带有子文件夹的存储桶或链接的 s3 存储桶更好？我确信用户图片的数量会多于个人图片的数量，并且每个存储桶限制为 5TB，每个帐户限制为 100 个存储桶。我正在使用 aws boto 库和 https://github.com/amol-/depot 执行此操作

以下哪种方式是我的文件夹的结构？

/app_bucket
    /profile-pic-folder
    /user-images-folder

OR

profile-pic-bucket
user-images-bucket


OR


/app_bucket_1
/app_bucket_2

最后一个意味着它实际上是一个 10TB 存储桶，其中当存储桶_1 中的文件超过 5TB 时创建一个新存储桶。但是所有上传的内容都会像在一个存储桶中一样被读取。或者有没有更好的方法来做我想做的事情？非常感谢!

我不确定这是否正确...每个帐户 100 个存储桶？

https://www.reddit.com/r/aws/comments/28vbjs/requesting_increase_in_number_of_s3_buckets/

Answer 1

是的，每个账户实际上有 100 个存储桶的限制。我在 AWS 事件中向架构师询问了原因。他说这是为了避免人们在 S3 上托管无限的静态网站，因为他们认为这可能会被滥用。但是你可以申请加薪。

By default, you can create up to 100 buckets in each of your AWS accounts. If you need additional buckets, you can increase your bucket limit by submitting a service limit increase.

来源: http://docs.aws.amazon.com/AmazonS3/latest/dev/BucketRestrictions.html

另外，请注意 S3 中实际上没有文件夹，只是一个平面文件结构:

Amazon S3 has a flat structure with no hierarchy like you would see in a typical file system. However, for the sake of organizational simplicity, the Amazon S3 console supports the folder concept as a means of grouping objects. Amazon S3 does this by using key name prefixes for objects.

来源: http://docs.aws.amazon.com/AmazonS3/latest/UG/FolderOperations.html

最后，5TB 限制仅适用于单个对象。存储桶的对象数量或总大小没有限制。

Q: How much data can I store?

The total volume of data and number of objects you can store are unlimited.

来源: https://aws.amazon.com/s3/faqs/

此外，文档指出使用单个存储桶或多个存储桶之间没有性能差异，所以我猜选项 1 和 2 都适合您。

希望这可以帮助。