hadoop - 标量只能与 PIG 中的投影一起使用

Question

标量只能与投影一起使用我在使用 foreach 时遇到此错误。我该如何解决此错误？我如何在 foreach 中使用 LIMIT ？请建议一些提前致谢..

编辑(Tichdroma):从评论中复制代码

A = LOAD 'part-r-00000';
G = Group A by ($0,$2 );
Y = foreach G generate FLATTEN(group), FLATTEN($1);
sorted = order Y by $0 ASC, $1 DESC;
X = foreach Y {
  lim = LIMIT sorted 3;
  generate lim;
};
Dump x;

Answer 1

LIMIT在 FOREACH 中的 Pig 0.9 中可用 nested_op .

如果你想要每个组的前 N ​​个元素，你可能想尝试迭代每个元素并单独排序和限制它们:

A = LOAD 'part-r-00000';
G = GROUP A by ($0, $2);
X = FOREACH G {
  sorted = ORDER A by $0 ASC, $1 DESC;
  lim = LIMIT sorted 3;
  GENERATE lim;
};
DUMP X;

注意 TOP当您只有一列可比较的值时(在这种情况下不是)，可能会很有效。