hadoop - 使用Pig是计算元组中数字的最佳方法

Question

我正在处理元数据:

dump c;
(20
5
5
)
(1
1
1
5
10
)

我想要实现的输出是统计每个数字的总和，所以像这样:

 (1,3)
 (5,3)
 (10,1)
 (20,1)

我尝试了此命令，但未成功:

 d = FOREACH c GENERATE COUNT($0); 

我目前没有用于c的架构(不确定此时是否重要):

 describe c;
 Schema for c unknown.

寻找建议。

Answer 1

输入元组:

(20 5 5)
(1 1 1 5 10)

您可以通过标记化然后将其分组来获得元组中的计数。

A = LOAD 'file' using TextLoader() as (line:chararray);
B = FOREACH A GENERATE FLATTEN(TOKENIZE(line)) as (line:chararray);    
C = GROUP B BY line;                                                   
D = FOREACH C GENERATE group,COUNT(B);            
dump D;

输出:

(1,3)
(5,3)
(10,1)
(20,1)