hadoop - 名称节点目录在令人惊讶的位置

Question

我在 hdfs-site.xml 中设置了 dfs.name.dir 如下:

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
 <property>
    <name>dfs.name.dir</name>
    <value>>/mnt/data/nn</value>
  </property>
 <property>
    <name>dfs.data.dir</name>
    <value>>/mnt/data/dfs</value>
  </property>
  <property>
    <name>dfs.replication</name>
    <value>1</value>
  </property>
</configuration>

但是名称节点正在尝试访问以下目录:

/usr/local/Cellar/hadoop/1.2.1/libexec/>/mnt/data/nn

这恰好是以下值:

$HADOOP_HOME>[value of dfs.name.dir]

以下是namenode日志:

2013-11-01 13:38:59,806 INFO org.apache.hadoop.hdfs.server.namenode.FSEditLog: dfs.namenode.edits.toleration.length = 0
2013-11-01 13:38:59,806 INFO org.apache.hadoop.hdfs.server.namenode.NameNode: Caching file names occuring more than 10 times
2013-11-01 13:38:59,808 INFO org.apache.hadoop.hdfs.server.common.Storage: Storage directory /usr/local/Cellar/hadoop/1.2.1/libexec/>/mnt/data/nn does not exist
2013-11-01 13:38:59,809 ERROR org.apache.hadoop.hdfs.server.namenode.FSNamesystem: FSNamesystem initialization failed.
org.apache.hadoop.hdfs.server.common.InconsistentFSStateException: Directory /usr/local/Cellar/hadoop/1.2.1/libexec/>/mnt/data/nn is in an inconsistent state: storage directory does not exist or is not accessible.
        at org.apache.hadoop.hdfs.server.namenode.FSImage.recoverTransitionRead(FSImage.java:304)
        at org.apache.hadoop.hdfs.server.namenode.FSDirectory.loadFSImage(FSDirectory.java:104)
        at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.initialize(FSNamesystem.java:427)
        at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.<init>(FSNamesystem.java:395)
        at org.apache.hadoop.hdfs.server.namenode.NameNode.initialize(NameNode.java:299)
        at org.apache.hadoop.hdfs.server.namenode.NameNode.<init>(NameNode.java:569)
        at org.apache.hadoop.hdfs.server.namenode.NameNode.createNameNode(NameNode.java:1479)
        at org.apache.hadoop.hdfs.server.namenode.NameNode.main(NameNode.java:1488)

Answer 1

可能导致您出现此问题的两件事需要注意:

1. NameNode 从名为 hdfs-site.xml(来自 $HADOOP_CONF 目录)的文件中读取它的配置，而不是你在问题中提到的 hive-site.xml(我猜你已经从 hdfs- site.xml 到此文件中)
2. 检查您在 hdfs-site.xml 中的配置 - 如果您复制了配置，看起来您在所需目录之前有一个前导 >:
   • <value>>/mnt/data/dfs</value> <<从这个值改变
   • <value>/mnt/data/dfs</value> <<修改为这个值