Hadoop MR2 作业统计

Question

我的机器上安装了 Hadoop 2.6.0 版。

hduser@vagrant:/usr/local/hadoop$ hadoop version
Hadoop 2.6.0

此外，我使用 bash sbin/start-dfs.sh 启动了 hadoop 集群，并看到 Datanode、namenode 和 secondarynode 正在运行。

hduser@vagrant:/usr/local/hadoop$ jps
2627 DataNode
2503 NameNode
3634 Jps
2825 SecondaryNameNode

我还能够提交作业并能够毫无问题地查看输出。

hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0.jar pi 2 5

问题:-1. 我没有看到(nodemanager 和 resourcemanager)YARN 没有运行，但作业仍然完成。 MR 作业在哪里运行，我在哪里可以看到作业的状态和运行的作业数量？

这是我的 netstat 结果:-

hduser@vagrant:/usr/local/hadoop$ netstat -tulpn|grep java(并非所有进程都可以识别，非拥有的进程信息 不会显示，您必须是 root 才能看到所有内容。)

tcp        0      0 0.0.0.0:50070           0.0.0.0:*               LISTEN      2503/java       
tcp        0      0 0.0.0.0:50010           0.0.0.0:*               LISTEN      2627/java       
tcp        0      0 0.0.0.0:50075           0.0.0.0:*               LISTEN      2627/java       
tcp        0      0 0.0.0.0:50020           0.0.0.0:*               LISTEN      2627/java       
tcp        0      0 127.0.0.1:54310         0.0.0.0:*               LISTEN      2503/java       
tcp        0      0 0.0.0.0:50090           0.0.0.0:*               LISTEN      2825/java       

Answer 1

您仍然需要配置和启动 YARN 服务(start-yarn.sh 脚本)并配置您的 mapreduce 作业以使用它:

etc/hadoop/mapred-site.xml
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>

目前您的作业正在以“本地”模式启动(作业在您使用“hadoop jar”启动的 JVM 中运行)，而不是以“yarn”模式启动。它适用于调试，但由于只涉及一个 JVM，因此您不是在“本地”模式下进行并行/分布式计算。