hadoop - 如何执行 Group by 然后在 pig 的其他列上使用 DISTINCT

Question

我刚刚开始学习 PIG，需要一些帮助解决以下问题。提前致谢!
例如:我有这样的输入:

职业类别名称

Actress       Acting     Marion Cotillard
Actor         Acting     Liam Nelson
Tennis Plyr   Athletics  Roger Federer
Football Plyr Athletics  Neymar
Actor         Acting     Tom Hanks
Actress       Acting     Elizabeth Banks
US Senator    Politics   Elizabeth Warren
Football Plyr Athletics  Mesut Ozil

我想知道单个类别中有多少种类型。例如:- 表演有两种类型，一种是女 Actor ，另一种是 Actor 。因此，结果将为 2。面临的问题:无法使用“职业”列区分“按类别分组”的输出。 :(

Answer 1

试试这个:

x= load '<data>' using PigStorage('\t') as (occupation:chararray,category:chararray,name:chararray);

 x_grouped= group x by category;

x_grouped_distinct= foreach x_grouped { cat= distinct $1.occupation; generate $0, cat, COUNT(cat);}; 

dump x_grouped_distinct;