hadoop - 将输入分成几个映射

Question

我有一个问题。是否可以将 mapreduce 程序的输入划分为使用多个 map 函数进行处理？我的意思是我们可以为每个映射函数分配特定范围的输入吗？

Answer 1

最简单的方法是使用 MultipleInputs .特别是，使用具有参数的 addInputPath 函数传入映射器类。

这是一个例子:

MultipleInputs.addInputPath(thejob, new Path(path1), TextInputFormat.class, Mapper1.class);
MultipleInputs.addInputPath(thejob, new Path(path2), TextInputFormat.class, Mapper2.class);
...
MultipleInputs.addInputPath(thejob, new Path(pathN), TextInputFormat.class, MapperN.class);

这将使 Mapper1 针对 path1 运行，而 Mapper2 针对 path2 运行，等等.

请注意，这里的限制是您的输入划分需要通过文件来完成……而不是输入拆分或类似的东西。最简单的方法是每个映射器有一个数据文件夹。