hadoop - MapReduce 任务数

Question

我需要一些帮助，了解如何在我的应用程序中获得正确数量的 Map 和 Reduce 任务。有什么办法可以发现这个数字吗？

谢谢

Answer 1

无法在应用程序执行之前获得实际的 map 和 reduce 任务数量，因为在执行之前无法准确确定任务失败后重新尝试和推测执行尝试的因素，一个大概的数量可以派生任务。

MapReduce 作业的 Map 任务总数取决于其输入文件及其文件格式。
对于每个输入文件，计算拆分，每个输入拆分将调用一个映射任务。

拆分大小将根据，

input_split_size = max(mapreduce.input.fileinputformat.split.minsize, min(mapreduce.input.fileinputformat.split.maxsize, dfs.blocksize))

如果属性

• mapreduce.input.fileinputformat.split.minsize

• mapreduce.input.fileinputformat.split.maxsize

  在默认情况下，考虑到文件是可拆分的，文件的输入拆分大小将大约等于其 blocksize。

ma​​p 任务的总数将等于每个文件的输入分割数的总和。
reduce 任务总数，它是1(默认)或等于mapreduce.job.reduces。