hadoop - 根据 pig 的字段比较元组

Question

(ABC,****,tool1,12)
(ABC,****,tool1,10)
(ABC,****,tool1,13)
(ABC,****,tool2,101)
(ABC,****,tool3,11)

以上是输入数据

以下是我在 pig 中的数据集。

Schema is : Username,ip,tool,duration

我想添加相同工具的持续时间

输出

(ABC,****,tool1,35)
(ABC,****,tool2,101)
(ABC,****,tool3,11

Answer 1

对持续时间使用 GROUP BY 和 SUM。

A = LOAD 'data.csv' USING PigStorage(',') AS (Username:chararray,ip:chararray,tool:chararray,duration:int);
B = GROUP A BY (Username,ip,tool);
C = FOREACH B GENERATE FLATTEN(group) AS (Username,ip,tool),SUM(A.duration);
DUMP C;