apache-pig - 拉丁 pig 包在分组后进行元组

Question

我有以下带有架构的数据 (t0: chararray,t1: int,t2: int)

(B,4,2)
(A,2,3)
(A,3,2)
(B,2,2)
(A,1,2)
(B,1,2)

我想生成以下结果(按 t0 分组，按 t1 排序)

(A, ((1,2),(2,3),(3,2)))
(B, ((1,2),(2,2),(4,2)))

请注意，我只想要第二个组件中的元组，而不是包。请帮忙。

Answer 1

你应该可以这样做。

-- A: (t0: chararray,t1: int,t2: int)

B = GROUP A BY t0 ;
C = FOREACH B {
            -- Project out the first column of A.
            projected = FOREACH A GENERATE t1, t2 ;
            -- Now you can order the projection.
            ordered = ORDER projected BY t1 ;
    GENERATE group AS t0, ordered AS vals ;
}

您可以阅读更多关于嵌套 FOREACHs here 的信息.

注意/更新:似乎当我最初回答这个问题时，我错过了提问者要求输出为元组形式的部分。只有当您知道元组中字段的确切数量和位置时，才应使用元组。否则，您的架构将不会被定义，并且访问这些字段将非常非常困难。这是因为整个元组将被视为一个字节数组，因此您必须手动查找和 cast一切。

如果你必须这样做，你不能在纯 pig 身上这样做。您必须使用某种 UDF去做这个。我会推荐 Python。