hadoop - hadoop 辅助节点的问题

Question

我是 hadoop 的新手。当我运行 wordcount 测试项目时，一切正常。但是，我无法访问位于 http://localhost:50030 的 JobTracker。事实上，当我得到我的 secondary node 日志文件时，我收到异常消息:

java.io.IOException: Bad edit log manifest (expected txid = 3: [[21,22], [23,24]
[8683,8684], [8685,8686], [8687,8688], [8689,8690], [8691,8692], [8693,8694], [8695,8696], [8697,8698], [8699,8700]]...
....
    at org.apache.hadoop.hdfs.server.namenode.SecondaryNameNode.downloadCheckpointFiles(SecondaryNameNode.java:438)
    at org.apache.hadoop.hdfs.server.namenode.SecondaryNameNode.doCheckpoint(SecondaryNameNode.java:540)
    at org.apache.hadoop.hdfs.server.namenode.SecondaryNameNode.doWork(SecondaryNameNode.java:395)
    at org.apache.hadoop.hdfs.server.namenode.SecondaryNameNode$1.run(SecondaryNameNode.java:361)
    at org.apache.hadoop.security.SecurityUtil.doAsLoginUserOrFatal(SecurityUtil.java:415)
    at org.apache.hadoop.hdfs.server.namenode.SecondaryNameNode.run(SecondaryNameNode.java:357)
    at java.lang.Thread.run(Thread.java:745)

顺便说一句，当我运行 jps 时，我得到 53745 JobHistoryServer 77259 Jps

更新:这是我的配置

在 core-site.xml

<configuration>
  <property>
     <name>hadoop.tmp.dir</name>  
<value>/usr/local/Cellar/hadoop/hdfs/tmp</value>
    <description>A base for other temporary directories.</description>
  </property>
  <property>
     <name>fs.default.name</name>                                     
     <value>hdfs://localhost:9000</value>                             
  </property>                                                        
</configuration>

在hdfs-site.xml

中

<configuration>
    <property>
      <name>dfs.replication</name>
      <value>1</value>
     </property>
 </configuration>

mapred-site.xml

<configuration>
       <property>
         <name>mapred.job.tracker</name>
         <value>localhost:9010</value>
       </property>
 </configuration>

而且我的 yarn-site.xml 中没有设置任何内容

Answer 1

如果您使用的是最新版本的 Hadoop，则 Job Tracker 将不可用。作业跟踪器被 Resource Manager 和 History Server 取代。

如果您想访问过去的工作详细信息，请转到 http://hostname:19888。这是作业历史记录服务器的 Web UI 地址。

请引用Hadoop Cluster Setup了解更多详情。