java - 在 MultipleOutputs 中 - 避免将我的 key 写入文件

Question

您好，我正在使用 Hadoop mapreduce，我正在使用多输出。下面是我的代码

mos = new MultipleOutputs(context);
mos.write(key, value, propertyName.trim());

但是它会生成多个后缀为 -m-0000 的文件，我该如何消除它？

而且我也不想在文件中打印我的 key 。那么我怎样才能避免我的 key 被写入文件呢？

Answer 1

考虑使用 LazyOutputFormat - 如果没有通过 context.write 写入任何内容，它不会创建默认输出文件:

job.setOutputFormat(LazyOutputFormat.class);

// This can be any file based output format
LazyOutputFormat.setOutputFormatClass(TextOutputFormat.class);