hadoop - 如何在 Apache Pig 中对多个展平列进行分组

Question

我有 3 种不同模式的数据:

(1, 12, 43) 
(1, 6, 20) 
(2, 8, 43) 
(2, 5, 13)`

我尝试对 $0 进行分组，结果输出为

(1, {(1,12,43), (1,6,20)})
(2, {(2,8,43), (2,5,13)}

我们怎样才能产生喜欢，

(1, {12,6}, {43,20}) 
(2, {8,5}, {43,13})

Answer 1

为此，您将需要一个嵌套的 foreach:

A = LOAD 'your_data' using PigStorage(',');
B = group A by $0;
C = foreach B {
    AUX = foreach A generate $1,$2;
    generate group, AUX;
}

这给出了以下输出:

(1,{(6,20),(12,43)})
(2,{(5,13),(8,43)})

在嵌套的 foreach 中需要 AUX 关系的原因是默认情况下，当您在 Pig 中分组时，它也会在分组包中包含您分组依据的字段，因此您有两次。这就是按 $0 分组时发生的情况。您需要嵌套的 foreach 来删除不需要的值。

希望对您有所帮助!

编辑

如果你想让每一列都转到同一个元组，试试这个:

A = LOAD 'your_data' using PigStorage(',');
B = group A by $0;
C = foreach B generate $0, BagToTuple($1.$1), BagToTuple($1.$2);

这将生成:

(1,(6,12),(20,43))
(2,(5,8),(13,43))

如果您需要将每个组放在一个包而不是一个元组中，请使用 TOBAG 函数:

C = foreach B generate $0, TOBAG(BagToTuple($1.$1)), TOBAG(BagToTuple($1.$2));

这将生成:

(1,{(6,12)},{(20,43)})
(2,{(5,8)},{(13,43)})

但是，您永远不可能拥有没有元组的包，因为包只是一组元组。因此，Pig 中不可能完全符合您的要求:

(1,{6,12},{20,43})
(2,{5,8},{13,43})

您将需要使用元组或带有元组的包。