apache-pig - 如何在拉丁 pig 中组合/连接两个袋子

Question

我有两个数据集:

A = {uid, url}; B = {uid, url};

现在我做一个cogroup:

C = COGROUP A BY uid, B BY uid;

我想将 C 更改为 {group AS uid, DISTINCT A.url+B.url};

我的问题是如何连接两个包 A.url 和 B.url？

或者换句话说，如何在多个列上执行 DISTINCT？

Answer 1

这不可能是您所期望的，但这是我从您的问题中了解到的:

C = JOIN A BY uid, B BY uid;
D = DISTINCT C;

连接是通过以下方式完成的:

E = FOREACH D GENERATE CONCAT(A::uid,B::uid);