configuration - 如何使用 CDH4 和 Yarn 查看我的 Hadoop 作业历史记录和日志？

Question

我用 Yarn 下载了 Hadoop 的 CDH4 tar，作业运行良好，但我不知道从哪里查看我的作业日志。在 MRv1 中，我只是访问了 JobTracker 网络应用程序，它具有工作历史记录。也可以从这里访问单个作业的日志，或者转到 logs/userlogs 目录。

在我的新 Yarn 设置中(仅在单台计算机上运行)，我有日志目录，但没有日志/用户日志文件夹。

当我转到 ResourceManager 网页 localhost:8088 时，有一个“所有应用程序”部分，但此处没有显示任何条目。当我转到 JobHistory 网页时，localhost:19888，没有列出任何工作。

我想知道是否存在配置问题。这是我的 yarn-site.xml 条目:

<property>
  <name>yarn.nodemanager.local-dirs</name> 
  <value>/Users/dolan/cdh4/_hadoop_data/yarn/local</value>
</property> 
<property> 
  <name>yarn.nodemanager.log-dirs</name>
  <value>/Users/dolan/cdh4/_hadoop_data/yarn/logs</value> 
</property>
<property> 
  <name>mapreduce.jobhistory.address</name>
  <value>localhost:10020</value> 
</property>
<property> 
  <name>mapreduce.jobhistory.webapp.address</name>
  <value>localhost:19888</value> 
</property>
<property>
  <name>yarn.app.mapreduce.am.staging-dir</name>
  <value>/user</value>
</property>

非常感谢有关调试内容的任何提示。

更新:我检查了 nodemanager 日志目录，它是空的。此外，jobhistory 目录是空的。一件奇怪的事情是 Hadoop 告诉我，INFO mapreduce.Job: The url to track the job: http://localhost:8080/，但是当我从浏览器尝试时该地址不可用。

更新#2:我注意到我运行的每个作业都有相同的作业 ID(“job_local_0001”)。这似乎是某处的配置问题。

Answer 1

听起来这里的作业是在本地运行，而不是在 YARN 上运行。要在 YARN 上运行作业，请确保您的 mapred-site.xml 中包含此内容:

<property>
  <name> mapreduce.framework.name</name>
  <value>yarn</value>
</property>

一般来说，通过向 cdh-user 邮件列表发送电子邮件，您可能会更快地得到对此类问题的回复。