hadoop - pig 脚本 : Find sum of items in a group

Question

这是我要运行的行

counts = FOREACH z {sum=SUM(B::counter);GENERATE group as A::month,sum;};

但是我收到以下错误:

<file s3://emr-test/kiran/script/goal.pig, line 6, column 28> Invalid field projection. Projected field [B::counter] does not exist in schema: group:chararray,y:bag{:tuple(A::id:chararray,A::month:chararray,B::counter:int)}.

如何对这样一个包含基于一列分组的元组包的模式进行求和聚合？

Answer 1

SUM 函数适用于元组包，其中元组包含 int、float 等值。但在这里，包包含元组的元组。如果您需要执行任何聚合，在这种情况下，您必须编写一个 UDF，您可以在其中传递包并解析成员以找到总和。或者您必须以包含一包的方式重组数据在这里柜台