hadoop - 如何强制 hadoop 运行超过 1 个 Reduce 作业

Question

我有一个 5 节点的 Hadoop 集群，其中 2 个节点专用于数据节点并且还运行 tasktracker。

我像这样运行我的 hadoop 作业

sudo -u hdfs hadoop jar /tmp/MyHadoopJob2.jar com.abhi.MyHadoopJob2 -D mapred.reduce.tasks=2 /sample/cite75_99.txt /output3

作业成功运行，我可以看到正确的输出...但是现在当我转到门户网站时

http://jt1.abhi.com:50030

我能看见

因此只有 1 个 reduce 作业正在运行。

我之所以特别关注运行多个 reduce 作业，是因为我想确认即使在不同机器上运行不同的 reduce 作业实例时，hadoop 是否仍会创建一个完美排序的输出文件？

目前我的输出文件已完全排序，但这是因为只有 1 个 reducer 作业正在运行。

Answer 1

输出文件的数量将基于给定作业的 reducer 数量。但如果您的需求需要，您仍然可以将多个文件合并为一个文件。

要合并使用下面的 hadoop shell 命令

command> hadoop fs -getmerge <src> <localdst>
src: hdfs output folder path
localdst: local system path with filename(one file)

希望这可以澄清您的疑虑。