hadoop - “WARN hdfs.DFSUtil: Namenode for null remains unresolved for ID null.”

Question

我想在配置后测试我的hadoop是否运行良好，但是在输入之后，命令start-all.sh在终端中显示如下错误

WARN hdfs.DFSUtil: Namenode for null remains unresolved for ID null. Check your hdfs-site.xml file to ensure namenodes are configured properly. Starting namenodes on [master] master: ssh: Could not resolve hostname master: Name or service not known

我检查了我的 hdfs-site.xml 文件并像其他人那样解决了它

<configuration>
    <property>
      <name>dfs.namenode.secondary.http-address</name>
      <value>master:50090</value>
    </property>
    <property>
      <name>dfs.replication</name>
      <value>2</value>
    </property>
    <property>
      <name>dfs.namenode.name.dir</name>
      <value>file:/home/lidekanfa/tools/hadoop-2.7.7/hdfs/name</value>
    </property>
    <property>
      <name>dfs.datanode.data.dir</name>
      <value>file:/home/lidekanfa/tools/hadoop-2.7.7/hdfs/data</value>
    </property>
</configuration>

还是不行。然后我检查了我的主机文件，我给了 ip 和名称，而且我可以不用密码登录 slave。有什么问题？

非常感谢!

Answer 1

我得到了答案。有2点。

首先，我的师父名字叫lidekanfa，不是master。但是在hdfs-site.xml文件和其他应该使用ma​​ster's name(lidekanfa)的配置文件中，我改用master。因此它警告 Namenode for null remains unresolved for ID null。

其次，我还有一个隐藏的问题。在初学者的安装教程中，他们在机器之间使用相同的用户名，例如root等，但我没有注意到。这样就导致我解决了上面提到的问题后，叫我输入密码，但是用户名和ID不匹配，所以hadoop没有用。为了解决这个问题，我复制了 key 并以 root 身份启动 hadoop。同时，您可以重写 sshd_config 文件以允许以 root 身份登录。您也可以在机器之间使用相同的用户名来解决此问题。