apache - 如何将 HDFS 名称节点移动到新主机

Question

将主 Hadoop DFS 名称节点从一台主机移动到另一台主机的正确步骤是什么？

我在 Ubuntu 14.04.3 LTS(没有 YARN)上使用 2.7.1 版的 hadoop。

完成的步骤:

• 将整个hadoop目录复制到新主机
• 在$hadoop_home/etc/hadoop/master 中设置新的master
• 更新了 $hadoop_home/etc/hadoop/core-site.xml 中的 fs.default.name 标签
• 使用旧名称节点的 ClusterID 格式化新名称节点:$hadoop_home//bin/hadoop namenode -format -custerId $CLUSTER_ID(我从配置中删除了从属节点只是为了确保没有任何从属节点受到影响；也许这是个问题？)

问题是由于 clusterid 不匹配，数据节点仍然没有出现:

2016-03-30 16:20:28,718 WARN org.apache.hadoop.hdfs.server.common.Storage: java.io.IOException: Incompatible clusterIDs in /storage/data: namenode clusterID = CID-c19c691d-10da-4449-a7b6-c953465ce237; datanode clusterID = CID-af87cb62-d806-41d6-9638-e9e559dd3ed7
2016-03-30 16:20:28,718 FATAL org.apache.hadoop.hdfs.server.datanode.DataNode: Initialization failed for Block pool <registering> (Datanode Uuid unassigned) service to XXXXXXXXXXXXXX. Exiting.
java.io.IOException: All specified directories are failed to load.

有什么建议吗？我还必须添加 BlockPool-ID 吗？

Answer 1

所以我终于设法让它移动了。

• 将正在运行的 HDFS 设置为安全模式:bin/hadoop dfsadmin -safemode enter
• TarBall dfs.name.dir 下的完整目录
• 将 TarBall 移动到新的名称节点并提取内容。
• 将 core-site.xml 和 master 更改为新节点的主机名
• 启动并离开安全模式:bin/hadoop dfsadmin -safemode 离开