hadoop - 如何知道 mapreduce 程序中映射器的输入拆分数？

Question

在mapreduce 程序中将它们添加到输出收集器之前，有什么方法可以知道输入拆分的数量

我试过下面的代码

opCol.collect(new Text(Integer.toString(total)), new IntWritable(
                Count))

任何帮助将不胜感激。谢谢。

Answer 1

如果您检查 FileInputFormat类的 getSplits 方法，它将拆分的数量设置为 job.getConfiguration().setLong(NUM_INPUT_FILES, files.size());

因此从您的映射器使用 int splitCount = context.getConfiguration().get("mapreduce.input.fileinputformat.numinputfiles");