hadoop - 为什么会出现 Hadoop incompatible namespaceIDs 问题？

Question

这是一个有据可查的错误，修复起来也很简单，但是有谁知道为什么 Hadoop 数据节点 NamespaceID 如此容易搞砸，或者 Hadoop 在启动数据节点时如何分配 NamespaceID？

这是错误:

2010-08-06 12:12:06,900 ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: java.io.IOException: Incompatible namespaceIDs in /Users/jchen/Data/Hadoop/dfs/data: namenode namespaceID = 773619367; datanode namespaceID = 2049079249
    at org.apache.hadoop.hdfs.server.datanode.DataStorage.doTransition(DataStorage.java:233)
    at org.apache.hadoop.hdfs.server.datanode.DataStorage.recoverTransitionRead(DataStorage.java:148)
    at org.apache.hadoop.hdfs.server.datanode.DataNode.startDataNode(DataNode.java:298)
    at org.apache.hadoop.hdfs.server.datanode.DataNode.<init>(DataNode.java:216)
    at org.apache.hadoop.hdfs.server.datanode.DataNode.makeInstance(DataNode.java:1283)
    at org.apache.hadoop.hdfs.server.datanode.DataNode.instantiateDataNode(DataNode.java:1238)
    at org.apache.hadoop.hdfs.server.datanode.DataNode.createDataNode(DataNode.java:1246)
    at org.apache.hadoop.hdfs.server.datanode.DataNode.main(DataNode.java:1368)

这似乎甚至发生在单节点实例上。

Answer 1

每次格式化 HDFS 时，Namenode 都会生成新的 namespaceID。我认为这可能是为了区分当前版本和以前的版本。如果出现问题，您总是可以回滚到以前的版本，如果 namespaceID 对于每个格式化实例来说都不是唯一的，这可能是不可能的。

NamespaceID 还连接名称节点和数据节点。 Datanodes通过namespaceID将自己绑定(bind)到namenode