java - 如何在 Hadoop-.20 api 中指定 KeyValueTextInputFormat 分隔符？

Question

在新的 API (apache.hadoop.mapreduce.KeyValueTextInputFormat) 中，如何指定除制表符(默认)之外的分隔符(定界符)来分隔键和值。

示例输入:

one,first line
two,second line

需要输出:

Key : one
Value : first line
Key : two
Value : second line

我将 KeyValueTextInputFormat 指定为:

    Job job = new Job(conf, "Sample");

    job.setInputFormatClass(KeyValueTextInputFormat.class);
    KeyValueTextInputFormat.addInputPath(job, new Path("/home/input.txt"));

这对于作为分隔符的制表符来说效果很好。

Answer 1

在较新的 API 中，您应该使用 mapreduce.input.keyvaluelinerecordreader.key.value.separator 配置属性。

这是一个例子:

Configuration conf = new Configuration();
conf.set("mapreduce.input.keyvaluelinerecordreader.key.value.separator", ",");

Job job = new Job(conf);
job.setInputFormatClass(KeyValueTextInputFormat.class);
// next job set-up