Hadoop MapReduce : default number of mappers

Question

如果我不指定映射器的数量，如何确定该数量？是否有从配置文件(例如 mapred-site.xml)中读取的默认设置？

Answer 1

在 Chris 上面添加的内容上添加更多内容:

1. 映射的数量通常由输入文件中的 DFS block 数量决定。虽然这会导致人们调整他们的 DFS block 大小来调整 map 的数量。

2. map 的正确并行级别似乎是大约 10-100 个 map /节点，尽管对于非常 cpu-light map task ，这可以达到 300 左右。任务设置需要一段时间，因此最好至少花一分钟时间执行 map 。

3. 您可以通过修改 JobConf 的 conf.setNumMapTasks(int num) 来增加 Map 任务的数量。注意:这可能会增加 map 任务的数量，但不会将数量设置为低于 Hadoop 通过拆分输入数据确定的数量。

最后控制 map 的数量是微妙的。 mapred.map.tasks 参数只是对 map 数量的 InputFormat 的提示。默认的 InputFormat 行为是将字节总数拆分为正确数量的片段。但是，在默认情况下，输入文件的 DFS block 大小被视为输入拆分的上限。可以通过 mapred.min.split.size 设置分割大小的下限。

因此，如果您期望 10TB 的输入数据和 128MB 的 DFS block ，您最终将得到 82k 的 map ，除非您的 mapred.map.tasks 更大。 InputFormat 最终决定了 map 的数量。

阅读更多:http://wiki.apache.org/hadoop/HowManyMapsAndReduces