hadoop - 与 apache pig latin 中的 GROUP 相对？

Question

假设我在 apache pig 中有以下输入:

(123, ( (1, 2), (3, 4) ) )
(666, ( (8, 9), (10, 11), (3, 4) ) )

我想将这两行转换为以下 7 行:

(123, (1, 2) )
(123, (3, 4) )
(666, (8, 9) )
(666, (10, 11) )
(666, (3, 4) )

即这有点像“做与 GROUP 相反的事情”。这在 pig 拉丁语中可能吗？

Answer 1

看看FLATTEN .它可以满足您可能需要的功能。

但是，使用上面的符号，元组列表看起来像是一个元组。这应该是一个包才能正常工作。

代替:

(123, ( (1, 2), (3, 4) ) )
(666, ( (8, 9), (10, 11), (3, 4) ) )

您应该将您的数据表示为:

(123, { (1, 2), (3, 4) } )
(666, { (8, 9), (10, 11), (3, 4) } )

那么，一旦是这个表单，你就可以:

O = FOREACH grouped GENERATE $0, FLATTEN($1);