hadoop - 没有 yarn map-reduce 工作？

Question

我正在研究 centos 6.5 和 hadoop 2.7.2 上的 hadoop map-reduce。我了解到 hdfs 只是分布式文件系统，而 Yarn 管理 map-reduce 工作，所以我认为如果我不打开 Yarn(资源管理器、节点管理器)，map-reduce 将不起作用。

因此，我认为，wordcount 不应该在仅使用 hdfs 而不是 yarn 的系统中执行 map-reduce 过程。

(关于伪分发模式)

但是当我打开 hdfs 而不是 Yarn 时，如下所示，并执行 wordcount 示例时，它显示“map-reduce framework”。这是什么意思？有没有可能只有 hdfs process map-reduce 没有 Yarn？因为 Yarn 管理资源和作业，所以没有 Yarn，map-reduce 就不能工作吗？

bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount /user/input /user/output

Answer 1

在 Hadoop 2.0 中，YARN 负责资源管理，这是事实。但即使没有 YARN，Map Reduce 应用程序也可以使用旧版本运行。

mapred-site.xml 有一个配置 - mapreduce.framework.name

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>local</value>
    </property>
</configuration>

上面可以配置选择是否使用YARN。此属性的可能值为 - local、classic 或 yarn

默认值为“本地”。如果要使用 YARN，请将其设置为 yarn