hadoop - 在加入 pig “OR”时会起作用吗？

Question

我想在PIG SCRIPT中实现以下SQL语句

表1 a，b，c，d列
表2 w，x，y，z列

Select t.a,t.b,t.c,t.d from Table1 t
Join Table2 tab on (t.a=tab.w or t.b=tab.x)

Answer 1

您可以使用两个join和union来实现此目的。将两个数据集加载到关系A和B中。通过在第一个条件ta = tab上创建一个新关系C.通过在第二个条件tb = tab上创建另一个新关系D. x.UNION C和D.假定所有数据类型均为int。

A = LOAD 'data1.txt' USING PigStorage(',') AS (a:int,b:int,c:int,d:int);
B = LOAD 'data2.txt' USING PigStorage(',') AS (w:int,x:int,y:int,z:int);
C = JOIN A BY A.a,B BY B.w;
D = JOIN A BY A.b,B BY B.x;
E = UNION C,D;
DUMP E;