hadoop - 连接到 HDFS Namenode 的问题

Question

在新的 hadoop 单节点安装之后，我在 hadoop-root-datanode-localhost.localdomain.log 中得到以下错误

 2014-06-18 23:43:23,594 ERROR org.apache.hadoop.security.UserGroupInformation:  PriviledgedActionException as:root cause:java.net.ConnectException: Call to localhost/127.0.0.1:54310 failed on connection exception: java.net.ConnectException: Connection refused

2014-06-18 23:43:23,595 INFO org.apache.hadoop.mapred.JobTracker: Problem connecting to HDFS Namenode... re-trying java.net.ConnectException: Call to localhost/127.0.0.1:54310  failed on connection exception: java.net.ConnectException: Connection refusedat org.apache.hadoop.ipc.Client.wrapException(Client.java:1142)

有什么想法吗？

JPS is not giving any ouput

核心 site.xml 已更新

<configuration>
<property>
  <name>hadoop.tmp.dir</name>
  <value>/opt/surya/hadoop-1.2.1/tmp</value>
  <description>A base for other temporary directories.</description>
</property>

<property>
  <name>fs.default.name</name>
  <value>hdfs://localhost:54310</value>
  <description>The name of the default file system.  A URI whose
  scheme and authority determine the FileSystem implementation.  The
  uri's scheme determines the config property (fs.SCHEME.impl) naming
  the FileSystem implementation class.  The uri's authority is used to
  determine the host, port, etc. for a filesystem.</description>
</property>

</configuration>

此外，关于使用 hadoop namenode -format 的格式低于中止错误

Re-format filesystem in /tmp/hadoop-root/dfs/name ? (Y or N) y
Format aborted in /tmp/hadoop-root/dfs/name

Answer 1

您需要以 hdfs-superuser 身份运行 hadoop namenode -format。可能是“hdfs”用户本身。

这里可以看到提示:

UserGroupInformation:  PriviledgedActionException as:root cause:java

另一件需要考虑的事情:你真的想把你的 hdfs 根移动到/tmp 以外的地方。当/tmp 被清理时，您将面临丢失 hdfs 内容的风险(这可能随时发生)

更新基于 OP 评论。

回复:JobTracker 无法联系 NameNode:请不要跳过步骤。

• 首先确保格式化 NameNode
• 然后启动NameNode和DataNode

• 运行一些基本的 HDFS 命令，例如

  hdfs dfs -put

和

hdfs dfs -get

• 然后就可以启动JobTracker和TaskTracker了
• 然后(而不是更早)您可以尝试运行一些 MapReduce 作业(使用 hdfs)