Hadoop 名称节点 : Single point of failure

Question

Hadoop架构中的Namenode是单点故障。

拥有大型 Hadoop 集群的人如何应对这个问题？

是否有一个行业认可且运行良好的解决方案，其中辅助 Namenode 接管以防主 Namenode 发生故障？

Answer 1

雅虎有 certain recommendations用于不同集群大小的配置设置，以将 NameNode 故障考虑在内。例如:

The single point of failure in a Hadoop cluster is the NameNode. While the loss of any other machine (intermittently or permanently) does not result in data loss, NameNode loss results in cluster unavailability. The permanent loss of NameNode data would render the cluster's HDFS inoperable.

Therefore, another step should be taken in this configuration to back up the NameNode metadata

Facebook 使用 a tweaked version of Hadoop用于其数据仓库；它有some optimizations专注于 NameNode 的可靠性。除了 github 上可用的补丁之外，Facebook 似乎使用了 AvatarNode专门用于在主要和次要 NameNode 之间快速切换。 Dhruba Borthakur's blog包含其他几个条目，提供对作为单点故障的 NameNode 的进一步洞察。

编辑:Further info about Facebook's improvements to the NameNode .