hadoop-yarn - 运行 mapreduce hadoop 作业时，应用程序未显示在 yarn UI 中？

Question

我正在使用 Hadoop2.2 .我看到我的工作已成功完成。我可以浏览文件系统以找到输出。但是，当我浏览时http://NNode:8088/cluster/apps ，到目前为止，我看不到任何已完成的应用程序(我运行了 3 个 wordcount 作业，但这里没有看到任何一个)。

是否有任何需要考虑的配置？



这是yarn-site.xml

<property>
        <name>yarn.resourcemanager.hostname</name>
        <value>NNode</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
<!--
  <property>
    <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
    <value>org.apache.hadoop.mapred.ShuffleHandler</value>
  </property>
-->

这是 mapred-site.xml :

<property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>

我也运行了作业历史服务器:

jps
4422 NameNode
5452 Jps
4695 SecondaryNameNode
4924 ResourceManager
72802 Jps
5369 JobHistoryServer

Answer 1

申请完成后，他们的责任可能会转移到Job History Server .所以检查Job History Server网址。它通常监听端口 19888 .例如。
http://<job_history_server_address>:19888/jobhistory
日志目录和日志保留持续时间可在 yarn-site.xml 中配置.与 YARN ，甚至可以将日志聚合到一个(可配置的)位置。

有时，即使列出了应用程序，日志也不可用(我不确定这是不是由于 YARN 中的一些错误)。但是，几乎每次我都能使用命令行获取日志:

yarn logs -applicationId the_application_id

虽然有多种选择。使用帮助获取详细信息:

yarn logs --help