Macos Hadoop 3.1.1 - 无法启动名称节点。 java.io.IOException : Could not parse line: "Filesystem 1024-blocks Used Available Capacity Mounted on" 异常

Question

我在 mac os 上通过 homebrew 安装了 hadoop 3.1.1。

core-site.xml 配置如下:

<configuration>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>file:///Users/yishuihanxiao/Personal_Home/ws/DB_Data/hadoop/hdfs/tmp</value>
        <description>A base for other temporary directories.</description>
    </property>
  <property>
    <name>fs.default.name</name>
    <value>hdfs://localhost:9000</value>
  </property>
</configuration>

hdfs-site.xml 如下:

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
  <property>
    <name>fs.default.name</name>
    <value>hdfs://localhost:9000</value>
  </property>
  <property>  
      <name>dfs.namenode.name.dir</name>  
      <value>file:///Users/yishuihanxiao/Personal_Home/ws/DB_Data/hadoop/hdfs/names</value>  
  </property>
  <property>
    <name>fs.checkpoint.dir</name>
    <value>file:///Users/yishuihanxiao/Personal_Home/ws/DB_Data/hadoop/hdfs/checkpoint</value>
  </property>
  <property>
    <name>fs.checkpoint.edits.dir</name>
    <value>file:///Users/yishuihanxiao/Personal_Home/ws/DB_Data/hadoop/hdfs/checkpoint</value>
  </property>
  <property>  
      <name>dfs.datanode.data.dir</name>  
      <value>file:///Users/yishuihanxiao/Personal_Home/ws/DB_Data/hadoop/hdfs/data</value>  
  </property>
</configuration>

当我启动dfs时，名称节点无法启动。从日志中，我可以看到以下异常:

2018-09-26 09:49:47,576 INFO org.apache.hadoop.metrics2.impl.MetricsSystemImpl: NameNode metrics system shutdown complete.
2018-09-26 09:49:47,583 ERROR org.apache.hadoop.hdfs.server.namenode.NameNode: Failed to start namenode.
java.io.IOException: Could not parse line: Filesystem   1024-blocks     Used Available Capacity  Mounted on
    at org.apache.hadoop.fs.DF.parseOutput(DF.java:195)
    at org.apache.hadoop.fs.DF.getFilesystem(DF.java:76)
    at org.apache.hadoop.hdfs.server.namenode.NameNodeResourceChecker$CheckedVolume.<init>(NameNodeResourceChecker.java:69)
    at org.apache.hadoop.hdfs.server.namenode.NameNodeResourceChecker.addDirToCheck(NameNodeResourceChecker.java:165)
    at org.apache.hadoop.hdfs.server.namenode.NameNodeResourceChecker.<init>(NameNodeResourceChecker.java:134)
    at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.startCommonServices(FSNamesystem.java:1155)
    at org.apache.hadoop.hdfs.server.namenode.NameNode.startCommonServices(NameNode.java:788)
    at org.apache.hadoop.hdfs.server.namenode.NameNode.initialize(NameNode.java:714)
    at org.apache.hadoop.hdfs.server.namenode.NameNode.<init>(NameNode.java:937)
    at org.apache.hadoop.hdfs.server.namenode.NameNode.<init>(NameNode.java:910)
    at org.apache.hadoop.hdfs.server.namenode.NameNode.createNameNode(NameNode.java:1643)
    at org.apache.hadoop.hdfs.server.namenode.NameNode.main(NameNode.java:1710)

我搜索了一个日志，找不到任何有用的信息。

Answer 1

也从 Homebrew 运行 3.1.1...(我也在使用 Java 10，但我建议将 hadoop-env.sh 中的 JAVA_HOME 设置为Java 8 否则)

如果我

1. 题目中，将/Users/yishuihanxiao/Personal_Home/ws/DB_Data替换为/tmp，这样我的文件就在/tmp/hadoop/HDFS

2. 同样，从问题中，从 hdfs-site.xml 中删除 fs.default.name 因为它不应该是那里的属性

3. 分别运行hdfs namenode -format，然后启动hdfs namenode，然后namenode启动。我可以访问 NameNode UI，但没有数据节点。

4. 打开单独的终端窗口以运行 hdfs datanode。

然后就可以正常启动并无错误地加入 namenode 进程(在日志和 UI 中显示)，我可以转到 namenode 和 datanode 的 Web UI，并执行其他 Hadoop 任务，例如启动 YARN