java - 如何配置 hadoop 的映射器，使其接受

Question

我正在使用两个映射器和两个缩减器。我收到以下错误:

java.lang.ClassCastException: org.apache.hadoop.io.LongWritable cannot be cast to org.apache.hadoop.io.Text

这是因为第一个reducer写 <Text, IntWritable> 我的第二个映射器正在获取 <Text,IntWritable> 但是，正如我所读，映射器采用 <LongWritable, Text>默认情况下。

所以，我必须设置输入格式，例如:

job2.setInputFormatClass(MyInputFormat.class);

有没有办法设置 InputFormat 类来接收 <Text,IntWritable> ?

Answer 1

如您所料，映射器的输入类型由 InputFormat 设置。

通常，当您像这样将作业链接在一起时，最好使用 SequenceFileOutputFormat 并在下一个作业中使用 SequenceFileInputFormat。这样就可以为您处理类型，并且您可以将类型设置为相同，即映射器输入与之前的缩减器输出相同。