gpt4 book ai didi

amazon-s3 - 适用于私有(private)云的 AWS S3 替代方案

转载 作者:行者123 更新时间:2023-12-02 03:48:19 24 4
gpt4 key购买 nike

现在我们需要从 AWS 迁移到私有(private)数据中心。我们需要找出潜在的替代存储,而不是 AWS S3。
目前S3的使用方式如下:

  • 整体存储大小为10TB;
  • 最小/平均/最大对象大小为 0.5/2/100 Mb;
  • 我们有 N 个同时写入/读取的 App 实例
    对象大约 50 次写入/秒,30 次读取/秒;
  • 这种存储应该是冗余(高可用)、容错、可扩展的;

  • 天真的实现可以将此数据存储在:
  • 简单的 NFS 存储并添加一些复制功能;
  • 只需将提到的对象存储在 NoSQL DB 中(如 Cassandra 中的示例)。然而,Cassandra 将需要多个实例来支持此存储(不建议存储 > 1TB pn 1 Cassandra 节点 Cassandra capacity planning )

  • 对于这种情况,您会推荐什么解决方案?

    最佳答案

    使用 MinIO如果您想拥有私有(private)云存储,是您最好的选择。它与 AWS S3 兼容,这意味着使用 AWS S3 的应用程序可以无缝迁移到 MinIO。他们有一个如何将 MinIO 服务器与 AWS CLI 连接的教程。您可以针对公共(public)托管的 MinIO 服务器进行测试 https://play.min.io:9000 .请引用AWS CLI with MinIO Server .

    您可以使用 MinIO 分布式设置来拥有高可用性的存储系统。请注意,动态扩展不是 MinIO 分布式设置的功能。如果你想扩展你的集群,你最终会用你想要的服务器/磁盘数量来旋转一个新的集群,然后你必须将你的数据从旧的迁移到新的。

    我发现它比 HDFS 更容易使用。除此之外,Hadoop生态系统之外还有很多技术缺乏HDFS集成。例如,Docker Registry 缺少内置的 HDFS 存储驱动程序。但是,它有一个 S3 驱动程序,因此您可以使用 MinIO 作为它的对象存储。

    关于amazon-s3 - 适用于私有(private)云的 AWS S3 替代方案,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/46324686/

    24 4 0
    Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
    广告合作:1813099741@qq.com 6ren.com