hadoop - PIG脚本以分组和聚合数据

Question

我有一个文件，其数据类似于以下文件

(1,11)
(1,111)
(2,22)
(2,222)

我如何生成下面的输出？

(1,11,111)
(2,22,222)

提前致谢!!!

Answer 1

BagToString()函数将为您的用例提供帮助。

引用:http://pig.apache.org/docs/r0.11.0/api/org/apache/pig/builtin/BagToString.html

输入:

1,11
1,111
2,22
2,222

pig 脚本:

inp_data = LOAD 'input_data.csv' USING PigStorage(',') AS (id:long,value:long);
inp_grp_id = GROUP inp_data BY  id;
req_stats = FOREACH inp_grp_id GENERATE group AS id, BagToString(inp_data.value,',') AS values;

输出:

(1,11,111)
(2,22,222)