hadoop - Hadoop 0.20: “job setup”任务

Question

我不确定这是否适用于较新版本的Hadoop，但是我目前只能运行Hadoop 0.20(旧版代码)。

问题是:启动Hadoop作业时，首先需要运行“作业设置”任务。在我看来，Hadoop随机选择此任务为map任务或reduce任务。

我们配置的 map task 比 reduce task 具有更多的能力，因此，每当我遇到不幸并遇到减少启动任务时，我的工作甚至要花很长时间才能开始运行。任何想法如何克服这个？

Answer 1

Hadoop作业首先完成您所有的mapper任务。一旦完成所有映射器任务，它将通过网络进行改组和排序，并且只有在此之后，您的reducer任务才会开始处理。所以我想可能会有一些其他的延迟。