java - 在hadoop mapreduce中读取2个输入文件

Question

我需要读取2个不同的输入文件并写入2个输出文件。第一个文件是主输入文件，第二个是字典。我的工作应该在mapper和reducers中同时处理两个文件。据我了解，我不能使用多输入。我尝试使用BufferedReader和BufferedWriter。但是后来我在mapper中创建了另一个作业，在reducer中创建了另一个作业。我该如何解决问题？

Answer 1

您可以使用多个文件输入，请引用http://hadoop.apache.org/docs/stable/api/org/apache/hadoop/mapred/lib/MultipleInputs.html。

MultipleInputs.addInputPath(job, inputPath1, TextInputFormat.class, MyMapper.class);
MultipleInputs.addInputPath(job, inputPath2, TextInputFormat.class, MyMapper.class);

inputPath1，inputPath2中可以有多个文件。