hadoop - pig 使用储钱 jar 处理不正确的数据

Question

我有一个文件，其结构如下所示:

ID，名称，地址

1,"Amrit,kumar",India   
2,"Vaibhav,arora",USA   
3,"Deepika,kumar",Germany

显然，如果我给pigStorage('，')，三个字段将被拆分为4，数据溢出。
备择方案 :

我尝试了存钱 jar ，但问题仍然存在，数据仍然溢出。请在脚本下方找到
A11 = LOAD 'File.csv.gz' USING org.apache.pig.piggybank.storage.CSVLoader() as (column:type)

我也尝试了fufutitiion替换我有35,000行，但所有行的更改都没有发生。在这种情况下，数据仍然会溢出。列值被移至下一列。请在下面的链接中找到。

how can i ignore " (double quotes) while loading file in PIG?

我也尝试了CSVEXCEL Storage和CSV loader。

请建议我在这里可以做什么。我想在单个列中包含名称值。

Answer 1

将其加载到4个字段中，替换引号，在第二个字段之后添加一个空格，最后连接第二个和第三个字段以在一个字段/列中获取全名。不需要外部jar。

A = LOAD 'File.csv.gz' USING PigStorage(',') AS (f1:int,f2:chararray,f3:chararray,f4:chararray);
B = FOREACH A GENERATE 
            f1,
            CONCAT(REPLACE(f2,'\\"',''),' ') as f2, -- replace beginning quote and add space at end
            REPLACE(f3,'\\"','') as f3,             -- replace ending quote
            f4;
C = FOREACH B GENERATE 
            f1 as id,
            CONCAT(f2,f3) as name,
            f4 as country;
DUMP C;