hadoop - 如何使用Hadoop 2.x提交Hadoop流作业并检查执行历史记录

Question

我是Hadoop的新手。在Hadoop 1.X中，我可以从主节点提交hadoop流作业，并从namenode网站检查结果和执行时间。

以下是Hadoop 1.X中hadoop流的示例代码:

$HADOOP_HOME/bin/hadoop  jar $HADOOP_HOME/hadoop-streaming.jar \
-input myInputDirs \
-output myOutputDir \
-mapper /bin/cat \
-reducer /bin/wc

但是，在Hadoop 2.x中，作业跟踪器已删除。如何在Hadoop 2.X中获得相同的功能？

Answer 1

在Hadoop 2.0中，您可以通过多种方式查看作业

1)从ResourceManager用户界面ResourceMnager主机名:8088 / cluster查看作业
2)从HUE查看作业-HUEServerHostname.com:8888/jobbrowser/
3)从命令行(一旦作业完成)

用法: yarn 记录-applicationId [选项]

常规选项是:
-appOwner AppOwner(假定为当前用户，如果
未标明)
-containerId ContainerId(如果节点，则必须指定
地址已指定)
-nodeAddress NodeAddress，格式为nodename:port
(如果容器ID为
指定)
示例:yarn logs -applicationId application_1414530900704_0005