hadoop - Hadoop pig 。不断变化的结构

Question

您可以帮助我更改文件的结构吗？

例如:

我有一个带2个定界符的字符串:

1;2,3,4;2

我想使用1个分隔符将其更改为raws:

1;2;2
1;3;2
1;4;2

Answer 1

pig 脚本:

 A = LOAD 'a.csv' USING PigStorage(';') AS (value1:chararray,value2:chararray,value3:chararray);
 B = FOREACH A GENERATE value1, FLATTEN(TOKENIZE(value2, ',')), value3;
 DUMP B;

输入:

1;2,3,4;2

输出:

(1,2,2)
(1,3,2)
(1,4,2)

我们可以使用存储B;作为分隔符。

 STORE B INTO 'requiredOutputLocation' USING PigStorage(';');