hadoop - MultipleOutputs 具有不同的 FileOutputFormat

Question

我正在尝试使用 MultipleOutputs 编写多个输出文件。然而，我希望我的 FileOutputFormat 具有两种不同的格式，即不同文件的 Text 和 SequenceFileFormat。有什么办法可以实现吗？

Answer 1

引用以下链接:MultipleOutputs

使用方法:addNamedOutput

public static void addNamedOutput(Job job,
              String namedOutput,
              Class<? extends OutputFormat> outputFormatClass,
              Class<?> keyClass,
              Class<?> valueClass)

所以基本上你的代码看起来像:

MultipleOutputs.addNamedOutput(job, "Output1", SequenceFileOutputFormat.class, Text.class, Text.class);
 MultipleOutputs.addNamedOutput(job, "Output1", TextOutputFormat.class, NullWritable.class, Text.class);

HTH.