hadoop - HDFS联邦

Question

关于HDFS Federation，我有几个基本问​​题。

是否可以从集群联邦中的另一个名称节点读取在一个名称节点上创建的文件？

Hadoop 的当前版本是否支持此功能？

Answer 1

让我根据 Apache web site 解释名称节点联合是如何工作的

名称节点:

为了横向扩展名称服务，联邦使用多个独立的名称节点/ namespace 。

名称节点是联合的； Namenodes是独立的，不需要相互协调。

数据节点被所有名称节点用作 block 的公共(public)存储。每个 Datanode 都向集群中的所有 Namenode 注册。数据节点发送周期性心跳和 block 报告。它们还处理来自名称节点的命令。

总结，

名称节点是互斥的，它们之间不需要通信。数据节点可以在多个名称节点之间共享。

要回答您的问题，这是不可能的。如果数据写入一个名称节点，您必须联系该名称节点才能获取数据。您不能询问其他名称节点。

关于您对数据复制的最新评论，

当复制因子为三时，HDFS 的放置策略是将一个副本放在本地机架中的一个节点上，另一个放在本地机架中的不同节点上，最后一个放在不同机架中的不同节点上 - as per official documentation。

如果本地 RAC 出现故障，您可以使用此功能并从其他数据中心获取数据。但请注意，您正在从一个 Federated Namenode 读取数据，而不是从其他 Federated Namenode 读取数据。

一个 Federated Namenode 无法从其他 Federated Namenode 读取数据。但它们可以共享同一组数据节点进行读写操作。

编辑:

在每个联盟中，您可以对 Namenode 进行自动故障转移。如果 Active NameNode 在 Federation 中出现故障，Stand-by Namenode 将接管 Active Namenode 的职责。

有关详细信息，请参阅下面的 SE 帖子。

How does Hadoop Namenode failover process works?