hadoop - pig : Count number of keys in a map

Question

我想计算 Pig map 中键的数量。我可以编写 UDF 来执行此操作，但我希望有更简单的方法。

data = LOAD 'hbase://MARS1'
       USING org.apache.pig.backend.hadoop.hbase.HBaseStorage(
         'A:*', '-loadKey true -caching=100000')
       AS (id:bytearray, A_map:map[]);

在上面的代码中，我想基本上构建 id 的直方图以及该键在列族 A 中有多少项。

怀着希望，我尝试了 c = FOREACH data GENERATE id, COUNT(A_map); 但不出所料，这没有奏效。

或者，也许有人可以建议一个更好的方法来完全做到这一点。如果我不能很快解决这个问题，我将只编写一个 Java MapReduce 作业或一个 Pig UDF。

Answer 1

SIZE 显然应该适合您(我自己没有尝试过):

• http://pig.apache.org/docs/r0.7.0/piglatin_ref2.html#SIZE