hadoop - 将非 HA Hadoop 集群转换为 HA 集群

Question

我有一个具有 3 个节点的非 HA Hadoop 设置:一个 NameNode 和 2 个 DataNode。 NameNode是一个4GB内存和20GB硬盘的服务器，而每个DataNode有8GB内存和100GB硬盘。

现在我需要将其转换为 HA 集群。我读过有关执行此操作的两种方法:使用 Quorum Journal Manager 和使用共享存储。

从以上两个方面来看，最好的方法是什么？
每种方法需要多少个额外节点？
如何最大限度地减少使用现有节点添加新节点的需要(是否建议使用 DataNodes 和 NameNodes 作为 JournalNodes)？

我使用的是 Apache Hadoop 版本:2.7.2 和 Apache Hbase 版本:1.2.4

Answer 1

What is the best way of doing this from above two?

QJM(Quorum Journal Manager)是推荐的选择，除非你有一个高度可靠和容错的共享存储。

How many additional nodes do I required on each approach?

一个用于备用Namenode。您可以运行 JournalNodes 和 Zookeeper 节点以及 Datanodes。