hadoop - 如何与 Pig 中的其他字段一起计数？

Question

我有以下数据集。

f1,f2,f3,f4,f5,f6

我正在寻找 f6 的计数以及其他字段。

f1,f2,f3,f4,f5,5

f1,f2,f3,f4,f5,3

等等。

我尝试了这段代码，但执行时间太长

A = LOAD 'file a'
B = GROUP A BY f6
C = FOREACH B GENERATE FLATTEN (group) as f6, FLATTEN(f1), FLATTEN(f2),FLATTEN(f3),FLATTEN(f4),FLATTEN(f5),COUNT(f6)

有没有更好的方法来实现我正在寻找的东西？

如果我只是尝试在不展平的情况下进行计数，那么字段最终会放在包中，但我希望最终输出为元组。

所以尝试这个给了我作为包的输出

C = FOREACH B GENERATE FLATTEN (group) as f6, A.f1,A.f2.A.f3,A.f4,A.f5, COUNT(f6)

感谢所有输入。

干杯

Answer 1

也可以展平分组的投影。

A = LOAD 'file a';
B = GROUP A BY f6;
C = FOREACH B GENERATE FLATTEN(A), COUNT(A) as f6_count;

编辑1:
关键是使用 FLATTEN(A) 而不是 FLATTEN(group)。

FLATTEN(A) 将生成一个包含原始关系中所有列的元组，并且将删除包，即使是那些未在 group by 语句中使用的包(f1、f2、f3、f4、f5、f6)。

FLATTEN(group) 将仅返回 group by 中使用的列，在本例中为 f6。
这种方法的优点是它非常高效，并且需要一个 Map Reduce 作业来执行。任何涉及 JOIN 操作的解决方案都会增加额外的 Map Reduce 作业。

作为 pig、hive 和 MR 的一般经验法则，group by 和 join 操作通常作为单独的 MR 作业执行，减少 MR 作业的数量可以提高性能。