使用两个 -inputFormat 的 Hadoop 流式传输？

Question

假设我有两个文件，我想以不同的格式进行映射。一个是序列文件，另一个是纯文本文件。有没有办法分别为每个指定一个-inputFormat？或者我应该做些什么来映射两者？

Answer 1

这就是 MultipleInputs 类的用途。对于每个输入，您都会调用 MultipleInputs:

MultipleInputs.addInputPath(job, inputPath, inputFormatClass, mapperClass);