hadoop - 输入输出参数错误Hadoop

Question

我有一个Mapper，其输入/输出参数为:
(LongWritable，Text，WordPair，IntWritable)
具有输入/输出参数的 reducer 为:
(WordPair，IntWritable，WordPair，DoubleWritable)

我将JobConf设置为:
conf.setOutputKeyClass(WordPair.class);
conf.setOutputValueClass(DoubleWritable.class);
conf.setMapOutputValueClass(IntWritable.class);
conf.setOutputFormat(TextOutputFormat.class);

但是我收到以下错误:
-Java IOException DoubleWritable不是一个类
- map 作业失败

同样，在进入 reducer 阶段之前，该作业失败了。这部分配置正确吗？我相信我在这里与参数有些不匹配。

我需要提供更多信息吗？我正在做相对频率问题，需要从Double类型的 reducer 值中输出，我正在使用Old Api。

Answer 1

我已经弄清楚了这个问题，我知道我在回答自己的问题，但这仅仅是因为我想让其他人知道他们是否有同样的问题。

之所以会出现此问题，是因为我已经提到了与 reducer 类相同的组合器类，但是根据这个问题，映射器的输入/输出与 reducer 的输入/输出不同，而组合器的输入/输出与映射器的输入/输出相同。

因此，我删除了设置合成器的行，它工作正常。