hadoop - Hadoop YARN 版本可能的流式命令行选项的完整列表是什么？

Question

我在浏览 Hadoop 网站时发现了以下 hadoop 流媒体链接。

https://hadoop.apache.org/docs/current1/streaming.html

但是，我对 Hadoop YARN (MRv2) - 流式命令行选项更感兴趣。

如果有人有详尽的 list ，你能把它贴在这里吗？

如果没有找到，有人可以告诉我以下命令中的任何命令行选项是否非法。

yarn jar /opt/cloudera/parcels/CDH/lib/hadoop-mapreduce/hadoop-streaming.jar \
    -D mapred.jab.name="Streaming wordCount Rating" \
    -D mapreduce.job.output.key.comparator.class=org.apache.hadoop.mapreduce.lib.partition.KeyFieldBasedComparator \
    -D map.output.key.field.separator=\t \
    -D mapreduce.partition.keycomparator.options=-k2,2nr \
    -D mapreduce.job.reduces=${NUM_REDUCERS} \
    -files mapper2.py,reducer2.py \
    -mapper "python mapper2.py" \
    -reducer "python reducer2.py" \
    -input ${OUT_DIR} \
    -output ${OUT_DIR_2} > /dev/null

Answer 1

如果您想查看所有 Hadoop 流式命令行选项，请参阅 StreamJob.java - setupOptions() :

    allOptions = new Options().
      addOption(input).
      addOption(output).
      addOption(mapper).
      addOption(combiner).
      addOption(reducer).
      addOption(file).
      addOption(dfs).
      addOption(additionalconfspec).
      addOption(inputformat).
      addOption(outputformat).
      addOption(partitioner).
      addOption(numReduceTasks).
      addOption(inputreader).
      addOption(mapDebug).
      addOption(reduceDebug).
      addOption(jobconf).
      addOption(cmdenv).
      addOption(cacheFile).
      addOption(cacheArchive).
      addOption(io).
      addOption(background).
      addOption(verbose).
      addOption(info).
      addOption(debug).
      addOption(help).
      addOption(lazyOutput);

与 MapReduce 相关的选项是所有 MapReduce 应用程序的通用选项，要查看它们是否有效，请查看 mapred-default.xml配置变量。仅供引用:这是指 Hadoop 2.8.0，因此您可能需要为您的 Hadoop 版本找到合适的 XML。