hadoop - 用单个空格替换多个空格，使用APACHE PIG删除“并以0开头

Question

在PIG方面需要帮助

A = load 'input.txt' as (line:chararray);
B = foreach A generate FLATTEN(TOBAG(*));
C = FOREACH B GENERATE REPLACE(($0, '\\s+', ' ')  

在最后一行需要帮助以单个空格替换多个空格，使用APACHE PIG删除 "(报价)和前导 00
注意:-方法不应针对特定 Realm ，因为有70多个 Realm ，
基本上，希望获得有关REPLACE或STRSTRING或REGEX函数的帮助，这些函数可以执行一行中提到的操作。

Input.txt

00595, ab 000cdef      california "state,   00USA
00733, 0ds ds "ARIZONA 00state, USA

预期产量

595, ab cdef califormia state, USA
733, ds ds ARIZONA state, USA

Answer 1

您可以在Pig中使用REPLACE函数进行清理和加载，因为INT将从数字中删除前导零。

A = LOAD '/usr/pigfiles/pigo.txt' using PigStorage(',') as (value: INT, state: chararray, country: chararray);  
B = FOREACH A GENERATE value,REPLACE(REPLACE(state,'  ', ' ' ),'\\"',''),  country; 
DUMP B;