hadoop - 我们如何将 List 作为 Mapper 输出传递？

Question

我正在研究一个 Map-Reduce 问题。但我一直停留在一点，我怎样才能通过 List<Text>作为Mapper output ？可不可以？如果是，那我们怎么知道 configuration关于 Mapper output class ？

Answer 1

您可以使用 ArrayWritable类作为映射器类中的值对象。请为您的映射器类引用以下代码片段，

ArrayWritable arrayWritable = new ArrayWritable(Text.class);

Text [] textValues = new Text[2];
textValues[0] = new Text("value1");
textValues[1] = new Text("value1");

arrayWritable.set(textValues );
context.write(key , arrayWritable );

在你的驱动类中设置值类如下，

job.setMapOutputValueClass(ArrayWritable.class);