filesystems - Reed Solomon 删除编码和复制因子

Question

我正在研究分布式文件系统架构和设计。我遇到的不少 DFS 通常具有以下架构:

• 名称节点或元数据服务器，用于管理数据 block / block 的位置以及文件系统的层次结构。
• 用于存储属于一个或多个逻辑文件的数据 block 或数据 block 的数据节点或数据服务器
• 与名称节点对话以找到合适的数据节点以从中读取/写入的客户端。

许多这样的系统有两个主要变体，一个 block 大小和一个复制因子。

我的问题是:

像 Reed Solomon Erasure Encoding 这样的复制因子和前向纠错是否兼容？使用这两种技术来确保数据的高可用性是否有意义？或者使用一个或另一个就足够了(有什么权衡取舍？)

Answer 1

您是否可以混合和匹配普通的旧复制代码和纠删码取决于所讨论的分布式文件系统在其功能集中提供的内容，但它们通常是相互排斥的。

从文件/对象作为一个整体复制到“n”(复制因子)个数据节点的意义上来说，复制很简单。写入到所有节点。可以从任何一个节点单独提供读取服务，因为它们托管整个文件。所以你可以在多个节点之间分配不同的读取。不涉及中间数学，主要是 I/O 绑定(bind)。此外，对于给定的文件大小，磁盘使用量更多(因为有“n”个副本)。

从某种意义上说，纠删码很复杂，因为文件/对象的一部分在写入过程中被编码并散布在“n”个数据节点中。读取需要从多个节点获取数据，解码并重建数据。因此涉及数学并且可能成为 CPU 限制。与复制相比，磁盘使用率较低，但容错能力也较低。