hadoop - 总结 Pig 中的值

Question

我正在尝试提供一个输出，该输出聚合最后两个字段(计数和书籍)并将它们彼此分开(计数/书籍)以用于每个分组。目前我有分组代码，它按数组中的第一个元素分组。我不确定如何获得最后两个元素的总和并将它们相加。到目前为止，我已经发布了我拥有的代码。提前致谢!

bigrams = LOAD 'txt' AS (bigram:chararray, year:int, count:int, books:int);
grouping = group bigrams by bigram;

STORE grouping INTO 's3://cse6242vrv3/output1.txt';

Answer 1

您对输出的期望并不完全清楚。所以，我假设您只想知道如何在 Pig 中进行聚合。如果您正在寻找不同的东西，请告诉我们更多信息。

bigrams = LOAD 'txt' AS (bigram:chararray, year:int, count:int, books:int);
grouping = foreach(group bigrams by bigram) generate group AS biagram,
                  SUM(bigrams.count) AS sum_count,
                  SUM(biagram.books) AS sum_books,
                  SUM(bigrams.count)/SUM(biagram.books) AS ratio;
STORE grouping INTO 's3://cse6242vrv3/output1.txt';

您可以在此处找到有关 pig 聚合的更多详细信息- https://pig.apache.org/docs/r0.15.0/basic.html#group您可能对 pig 感兴趣的另一件事是嵌套 block ，它可用于 group by 中的复杂计算。 https://pig.apache.org/docs/r0.15.0/basic.html#nestedblock