java - 自定义输入格式，hadoop

Question

请帮忙，我有以下示例数据:

-21.33,45.677,1234,1245,1267,1290,1212,1111,10000,1902
-21.34,45.677,1264,1645,1266,1260,1612,1611,16000,1602
-21.35,45.677,1244,1445,1467,1240,1242,1211,11000,1912
-21.36,45.677,1231,1215,1217,1210,1212,1111,10010,1902

我希望我的 hadoop mapreduce 代码应将前两个浮点条目视为键(-21.33,45.677)，将其余整数条目视为值(1234,1245,1267,1290,1212,1111,10000,1902) .

我不确定是否可以使用现有的 FileInputFormats 来完成。那么知道该值应该用作数组而不是文本时，我该如何处理呢？

另外我应该如何更改 inputSplit 以便我能够在 map 中同时获取多个记录进行计算。

Answer 1

最简单的方法是使用 TextInputFormat 并让映射器在键和值之间进行分割。映射器的输出键和值都可以是文本。