hadoop - 提交 hadoop-streaming 作业 : yarn or hadoop?

Question

使用 yarn jar 命令和使用 hadoop jar 命令提交 hadoop-streaming 作业有什么区别？

这是来自 current documentation :

hadoop jar hadoop-streaming-2.7.1.jar \
  -D mapreduce.job.reduces=2 \
  -input myInputDirs \
  -output myOutputDir \
  -mapper /bin/cat \
  -reducer /usr/bin/wc

但是这个命令也可以用:

yarn jar hadoop-streaming-2.7.1.jar \
  -D mapreduce.job.reduces=2 \
  -input myInputDirs \
  -output myOutputDir \
  -mapper /bin/cat \
  -reducer /usr/bin/wc

如果这两个命令是等价的(我认为它们是等价的)，那是首选，为什么？

Answer 1

如果您的 MapReduce 框架是 YARN，它们是相等的。如果不是，hadoop jar 将使用 MRv1 运行您的 jar 文件，yarn jar 将通过 YARN(MRv2) 运行您的 jar。