Hadoop 多节点集群。数据节点无法正常工作

Question

我正在将 hadoop 部署为多节点集群(分布式模式)。但是每个数据节点都有不同的集群 ID。

在slave1上，

java.io.IOException: Incompatible clusterIDs in /home/pushuser1/hadoop/tmp/dfs/data: namenode clusterID = CID-c72a7d30-ec64-4e4f-9a80-e6f9b6b1d78c; datanode clusterID = CID-2ecca585-6672-476e-9931-4cfef9946c3b

在slave2上，

java.io.IOException: Incompatible clusterIDs in /home/pushuser1/hadoop/tmp/dfs/data: namenode clusterID = CID-c72a7d30-ec64-4e4f-9a80-e6f9b6b1d78c; datanode clusterID = CID-e24b0548-2d8d-4aa4-9b8c-a336193c006e

我也点击了这个链接Datanode not starts correctly但我不知道应该选择哪个集群 ID。如果我选择任何一个，那么数据节点将在该机器上启动，而不是在另一台机器上启动。而且，当我使用基本命令(hadoop namenode - 格式)格式化 namenode 时，每个从属节点上的数据节点都会启动，但主计算机上的 namenode 不会启动。

Answer 1

datanode和namenode的ClusterID要匹配，只有datanode才能和namenode有效通信。如果您执行名称节点格式，将为名称节点分配新的 ClusterID，则数据节点中的 ClusterID 将不匹配。

您可以在/home/pushuser1/hadoop/tmp/dfs/data/current/(datanode 目录)和 namenode 目录(/home/pushuser1/hadoop/tmp/dfs/name/current/基于您为 dfs.namenode.name.dir 指定的值)包含 ClusterID。

如果您准备好格式化您的 hdfs namenode，请停止所有 HDFS 服务，清除以下目录中的所有文件

rm -rf /home/pushuser1/hadoop/tmp/dfs/data/*  (Need to execute on all data nodes)
rm -rf /home/pushuser1/hadoop/tmp/dfs/name/*

并再次格式化 hdfs (hadoop namenode -format )