hadoop - 使用 Apache Hadoop Pig 内部连接两个数据集

Question

我有两个数据集(1M 唯一字符串)和(1B 唯一字符串)；我想知道有多少字符串在两个集合中是通用的，并且想知道使用 Apache Pig 获取数字的最有效方法是什么？

Answer 1

您可以先加入两个文件，如下所示:

A = LOAD '/joindata1.txt' AS (a1:int,a2:int,a3:int);
B = LOAD '/joindata2.txt' AS (b1:int,b2:int);
X = JOIN A BY a1, B BY b1;  

然后你可以计算行数:

grouped_records = GROUP X ALL;
count_records = FOREACH grouped_records GENERATE COUNT(A.a1);

它对你的问题有帮助吗...