hadoop - Hadoop JobTracker的跟踪URL无法访问

Question

我已经在wsl中配置了我的hadoop系统并运行wordcount示例。但是，当我想查看作业的历史记录时，发现无法访问跟踪URL。

作业运行良好，作业历史记录也正在运行。



历史记录跟踪URL是我的wsl主机名:8088 / proxy / application_1585482453915_0002 /。



您可以在上方看到网址。

但是我仍然可以访问localhost:19888 / jobhistory来查看我的作业历史记录。



这个问题怎么发生？这是配置问题吗？

我的hadoop版本是2.7.1。

我的core-site.xml

<property>
        <name>hadoop.tmp.dir</name>
        <value>file:/home/hadoop/hadoop/tmp</value>
        <description>Abase for other temporary directories.</description>
    </property>
    <property>
　　　　    <name>fs.defaultFS</name>
　　　　    <value>hdfs://localhost:9000</value>
    </property>

我的hdfs-site.xml

<property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/home/hadoop/hadoop/tmp/dfs/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/home/hadoop/hadoop/tmp/dfs/data</value>
    </property>

我的mapred-site.xml

<property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
    <property>
        <name>mapreduce.jobhistory.address</name>
        <value>localhost:10020</value>
    </property>
    <property>
        <name>mapreduce.jobhistory.webapp.address</name>    
        <value>localhost:19888</value>
    </property>

我的yarn-site.xml

<property>
      <name>yarn.nodemanager.vmem-check-enabled</name>
      <value>false</value>
      <description>Whether virtual memory limits will be enforced for containers</description>
  </property>
  <property>
      <name>yarn.nodemanager.vmem-pmem-ratio</name>
      <value>4</value>
      <description>Ratio between virtual memory to physical memory when setting memory limits for containers</description>
  </property>
  <property>
      <name>yarn.nodemanager.aux-services</name>
      <value>mapreduce_shuffle</value>
  </property>
  <property>
      <name>yarn.nodemanager.aux-services.mapreduce_shuffle.class</name>
      <value>org.apache.hadoop.mapred.ShuffleHandler</value>
  </property>

我的/ etc / hosts

127.0.0.1   localhost
127.0.1.1   DESKTOP-U1EOV4J.localdomain DESKTOP-U1EOV4J

Answer 1

JobHistoryServer守护程序以localhost(127.0.0.1)运行，而跟踪URL是使用主机名构造的，因此重定向到DESKTOP-U1EOV4J.localdomain(127.0.1.1)。

对于Pseudo分布式群集，将JobHistoryServer的主机保留为0.0.0.0更为安全。

在mapred-site.xml中更新作业历史记录服务器属性

   <property>
        <name>mapreduce.jobhistory.address</name>
        <value>0.0.0.0:10020</value>
    </property>
    <property>
        <name>mapreduce.jobhistory.webapp.address</name>    
        <value>0.0.0.0:19888</value>
    </property>

然后重新启动 JobHistoryServer。