hadoop - 如何在 hadoop 2.5.2 上启动和检查作业历史记录

Question

1. 在每个应用程序的 mapreduce webconsole 中都有一个跟踪 ui 链接指向 xx:19888/jobhistory/，但是如何在 19888 上启动服务(我已经启动了 4 个服务:yarn-resource-manager、yarn-node -manager、hdfs-name-node、hdfs-data-node，我错过了什么？)
2. 是否在 2.5.2 中移除了 jobtracker
3. 我想查看为我的工作生成的 job.xml，在哪里可以找到它。我指定了“mapreduce.jobtracker.jobhistory.location”，但什么也没有

谢谢。

Answer 1

1. 要访问 JobHistory 服务器的 Web 界面，您需要启动 hadoop-mapreduce-historyserver 服务，该服务默认绑定(bind)到 19888。
2. 如果您在集群中运行 YARN，那么您不再需要 jobtracker，jobtracker 完成的工作将卸载到 ResourceManager、NodeManager 和 ApplicationMaster。但是，您仍然可以只安装 MRv1，在这种情况下您将安装 JobTracker 和 TaskTracker(不推荐)。
3. 您可以通过导航到 http://RESOURCEMANAGER_HOST:8088/cluster 从 ResourceManager 的 UI 检查 job.xml -> 选择您的应用程序的 Tracking UI -> 选择您的作业 ID -> 在左侧选项卡上，您将能够看到配置。或者，如果您已经知道自己的工作 ID，请访问此链接:http://JOBHISTORY_SERVER:19888/jobhistory/conf/YOUR_JOB_ID。