hadoop - 配置多模式 Hadoop 集群

Question

我正在尝试建立一个多节点集群，我有 3 台机器，其中一台充当名称节点和数据节点，另外两台充当数据节点。我对所有机器都有不同的用户名，node1 的用户名是 hdfsadmin，node2 的用户名是 hduser，node 3 的用户名也是 hduser。问题是当我尝试连接到数据节点时 Hadoop 抛出一个连接被拒绝的错误，因为它期望数据节点的名称与名称节点相同，这在我的情况下是不同的。我该如何解决这个问题？

提前致谢

Answer 1

不，不需要所有节点都具有相同的主机名。请交叉检查以下内容:

1) 确保您能够通过 ssh 访问另一个节点。

2) 确保在/etc/hosts 文件中定义所有主机名和 IP 地址。

 hadoopmnmaster   192.168.56.11
 hadoopmnslave1   192.168.56.12
 hadoopmnslave2   192.168.56.13
 hadoopmnslave3   192.168.56.14

3) 在conf目录下的master/slave文件中创建master/slave节点入口。

4) 确保守护进程在每个节点上运行。

如果以上都符合要求，那么您的集群应该可以正常运行。