hadoop - 在对Pig使用grunt并调试涉及同一张表的不同操作的脚本时，如何避免使用多个Map Reduce作业？

Question

我在Pig上工作时在grunt shell中工作。

我有A表colA。

我想按A对表colA进行分组，并将其存储在文件grACount中，并将grACount的过滤结果存储在一个名为grACountFilter的文件中。

如果我在grunt shell中编写如下语句:

grA = GROUP A BY colA;
grACount = FOREACH grA GENERATE group as colA, COUNT(A.colA) as countColA;
STORE grACount into 'grACount';
grACountFilter = FILTER grACount BY countColA>15;
STORE grACountFilter into 'grACountFilter';

然后它将为第3行提交一个 map 缩小作业，然后为第5行再次提交，对吗？

而且，当它再次提交第5行的作业时，它将重新计算表，对吗？

我想要的是不必提交两个不同的map reduce作业，并且一次执行所有计算。这可能吗？

Answer 1

Pig中的STORE和DUMP命令将触发作业执行。因此，您不能阻止该行为。您可以将所有STORE命令保持在一起。单个STORE或DUMP命令可能会触发多个mapreduce作业。

脚本到达STORE或DUMP命令后，将执行执行计划。作业数量取决于执行计划。