java - hadoop mapreduce 流中的多个文件输出

Question

我正在使用hadoop map 和reduce 程序。我需要读取多个文件并将其输出到多个文件中

示例

Input \  one.txt 
         two.txt 
         three.txt 

Output \ 
         one_out.txt
         two_out.txt

我需要得到这样的东西。我怎样才能实现这个目标。

请帮助我

谢谢

Answer 1

• 如果文件较小，您可以简单地使用FileInputFormat，hadoop 会在内部为每个文件生成一个单独的映射器任务，最终生成输出文件相应的输入文件(如果不涉及reducer)。
• 如果文件很大，则需要编写自定义输入格式，并指定isSplittable(false)。它将确保 hadoop 不会跨映射器分割您的文件，并且不会为每个输入文件生成多个输出文件