java - 在单个 map 功能中精心制作多行

Question

我正在开发hadoop，我希望每个map函数都可以在多行上工作。我发现我可以使用属性mapreduce.input.lineinputformat.linespermap，但是如果我了解这一点，就可以为单个映射器而不是每个映射函数指定行数。我怎样才能做到这一点？提前致谢。

Answer 1

1)您将必须编写自定义文本格式。

2)您将必须为此创建自己的自定义记录读取器，并在其中实现逻辑。

You will extend from  TextInputFormat class to create your own NLinesInputFormat .
You will also create your own RecordReader class called NLinesRecordReader where you will implement the logic of feeding 3 lines/records at a time.
You will make a change in our driver program to use our new NLinesInputFormat class.
please follow the link for complete details :

请按照以下链接获取详细方法:
http://bigdatacircus.com/2012/08/01/wordcount-with-custom-record-reader-of-textinputformat/