hadoop - pig : Create new column based off of two other columns

Question

我想知道是否有可能在 pig 身上做这样的事情:

一共有三列:

“类型 1”、“类型 2”、“类型 3”

B 101 , 159 , 74

我想这样定义 C 列:

如果 A == "type1"那么 C = B;否则 C = 0

这在 pig 身上可能吗？

Answer 1

是的，这是可能的。你可以这样写:

data = LOAD '$dataSource' using AvroStorage();
-- data = {A, B}

data2 = FOREACH data
           GENERATE
               A,
               B,
               (A == 'type1' ? B : 0) AS C;

dump data2;