java - Hadoop MultipleInputs，具有不同分隔符的TextInputFormat

Question

如何最简单地运行多个不同的映射器类(使用 MultipleInputs)，所有映射器类都使用相同的输入格式，但使用不同的输入分隔符？

MultipleInput 允许您添加多个映射器，每个映射器都有自己的输入格式:

MultipleInputs.addInputPath(Job job, Path path,
  Class<? extends InputFormat> inputFormatClass,
  Class<? extends Mapper> mapperClass)

TextInputFormat 输入中的输入分隔符是通过在作业配置中设置配置键 textinputformat.record.delimiter 来配置的。方便!

但是，这意味着使用 MultipleInput.addInputPath(?, TextInputFormat.class, ?) 添加的所有映射器都必须共享相同的分隔符，如 textinputformat.record.delimiter 所指定 配置键。

有什么方法可以解决这个问题，而不必为每个映射器使用硬编码分隔符编译单独的输入格式类(扩展 TextInputFormat)？

Answer 1

如果您需要多输入格式，那么您可以创建自己的输入格式，只需修改分隔符并将它们用于您的输入路径。你可以look这里。

您的 InputFormat 类将使用您所需的分隔符覆盖 createRecordReader()。