linux - 就我而言，好的分布式通用文件系统？

Question

我一直在研究将分布式文件系统与我的专用服务器一起使用而不是使用 Amazon S3 的想法，结果除了让我头疼之外别无其他!

---

我的项目有以下特点/要求:

• 用户文件存储在专用服务器。每个文件存储在 2 台独立的机器中，位于不同的数据中心(彼此相距 150-200 英里)

• 我正在使用 Amazon RDS 托管关联的 mysql 数据库 (*)。它相当紧凑(仅包含 ID/文件元数据)

• 文件/数据约为 50TB。当然，数据确实会发生变化，并且肯定会随着时间的推移而增长

---

我的问题是:是否有一个良好的通用分布式并行容错文件系统具有以下特点:

• 稳定且相当快(上传/下载)

• 设置和维护相当容易

• 处理数据存储，以便我仅需要关心删除/添加新服务器(即通过编辑简单配置将新服务器添加到文件系统的服务器池，或类似的东西)

我读过有关 OpenStack、GlusterFS、MogileFS、XtreemFS 等的信息……但我读得越多，就越感到困惑!

(*) 是的，我意识到矛盾。在成本方面，将数据库托管在 RDS 上确实有意义。但是，与使用专用服务器(前提是它足够好)相比，在亚马逊上存储(最多)50TB 的用户文件过于昂贵。

PS.我的应用还没有上线，所以如果有人有适合我的情况的好主意，我愿意接受建议。

---

编辑 我不是尝试制作 S3 克隆，我只需要使用现有的托管基础​​设施来构建小型云解决方案，我的问题是关于找到合适的分布式文件系统来处理/自动执行此操作。

Answer 1

我们最近从昂贵的存储解决方案切换到用于分布式存储解决方案的开源 Lizardfs。一旦您理解了基本概念，设置和扩展就非常简单。

查看 https://docs.lizardfs.com/introduction.html#architecture快速概览。但是暂时忘掉 shadow master en meta loggers。你需要知道的是，有

1. 一个ma​​ster:调节流量(确保有足够的cpu)

2. chunkservers:实际存储数据。使用带有一堆硬盘的任何现成硬件。

3. 客户端:它们只是简单的挂载点。因此，如果需要，您可以获得 50TB 的巨型安装座。主人会告诉客户在哪里找到/存储文件。实际数据直接从客户端-> block 服务器传输并返回。

您可以根据需要添加任意数量的 chunkservers，master 将自动尝试在它们之间平衡您的存储使用量。添加存储是添加硬盘驱动器或添加服务器的问题。它们不一定是真正的裸机，但这可能是最便宜的。

lizardfs 中有 2 个令人惊奇的特性允许异地复制。

1. 目标(参见 https://docs.lizardfs.com/adminguide/replication.html#standard-goals):文件对您有多重要。您可以在文件级别/文件夹级别定义文件需要复制的次数。你要2份3吗？ 10？您可以为仅用于存档目的的旧文件定义 2 个副本的目标。并为所有新文件在 SSD 驱动器上定义 4 个副本的目标。

这些相同的目标也可用于执行地理复制。您通过相应地标记您的 block 服务器来定义您的数据必须存储在至少两个不同的位置。 (例如 DC1 和 DC2)

1. 机架感知(请参阅 https://docs.lizardfs.com/adminguide/advanced_configuration.html#configuring-rack-awareness-network-topology):您基本上定义 IP 范围来告诉系统您的网络是什么样的。这样，客户端将尝试从最近的服务器提供文件。

lizardfs 的易用性是我的卖点。我听说过关于 Ceph 的好消息，但设置它是另一回事......

一开始让我担心的是这项技术是如何被证明的。所以我花了很多研究来弄清楚谁在使用它。Orange Poland(一家大型电信提供商)是用户之一。和 Cloudweavers/opennebula实际上围绕它建立了业务selling complete solutions .