hadoop - 我可以让我的 Hadoop reducer 更快吗？

Question

我是 Hadoop 的新手，只是尝试使用 wordcount 示例。
我只是建立了一个节点，引用 http://www.michael-noll.com/tutorials/running-hadoop-on-ubuntu-linux-single-node-cluster/

我将一个非常简单的文本上传到 HDFS，然后运行 ​​wordcount.jar。

不知何故，reducer 需要很长时间来处理。我知道这是 I/O 瓶颈，但是有什么方法可以设置一些参数并使其更快？ (lol，reduce 过程还是 0%，差不多 20 分钟)

13/06/04 15:53:14 INFO mapred.JobClient:  map 100% reduce 0%

Answer 1

如果你想修改一些 Hadoop 设置，比如增加 Reduce 任务的数量，你可以使用“-D”选项:

hduser@ubuntu:/usr/local/hadoop$ bin/hadoop jar hadoop*examples*.jar wordcount -D mapred.reduce.tasks=8 /user/hduser/temp-data /user/hduser/temp-data-output

此外，使用 HDFS，您不能强制执行 map task 的数量 mapred.map.tasks但您可以指定 mapred.reduce.tasks如本 link 中所述