apache-pig - 在 Pig 中分组后选择字段

Question

我可能缺少一些非常微不足道的东西，但我就是无法让它发挥作用。我有一个“电影”对象，有片名、 Actor 、年份和角色。现在我想要的是获得带有标题的结果，以及包含 Actor /角色对的嵌套包。

如果我只是按标题对电影进行分组，我最终会得到像 (title, {movie objects}) 这样的结果，这将是完美的，除了标题和年份也会出现在电影对象中那里。我只想要 Actor 和角色。

我也试过 foreach movie_groups generate group, movies.actor, movies.role 但后来我得到了 (title, {all actors}, {all roles}) 这显然是错误的。

在 SQL 中，这太微不足道了，我不禁为无法解决这个问题而感到难以置信的愚蠢。有人有什么建议吗？

Answer 1

看到电影的格式会很有帮助，但我假设它是这样的:

MovieTitle1 Year1 Actor1 Role1
MovieTitle1 Year2 Actor2 Role2
etc.

在那种情况下，我会这样做:

result = FOREACH (GROUP movies BY title)  
         GENERATE FLATTEN(group), movies.(actor, role) AS actors ;

此外，您提到电影也包含年份。如果您不需要该字段，那么首先只投影您需要的字段(头衔、 Actor 、角色)可能是值得的。