csv - Pig 使用 PigStorage 加载 map (',' )

Question

我一直在尝试加载数据(CSV)，例如:

txt = IPHONE,GA,US,CN,[bucket#A,type#user,jailbreak#No],app_talkingtom,ios7

使用 Apache Pig 加载语句:

raw = LOAD text USING PigStorage(',') as (phone:chararray,loc:chararray,country:chaarray,ctype:chararray,kyval:map[],appname:chararray,osver:chararray);

gen = foreach raw generate appname;

DUMP gen;

我明白

键入#user而不是app_talkingtom；

我知道这是一个分隔符('，')问题。由于文件很大，我无法更改分隔符。如何让 Pig 正确加载该 map ？

Answer 1

在您的负载中尝试一下:

raw = LOAD text USING PigStorage(',') as (phone:chararray,loc:chararray,country:chaarray,ctype:chararray,kyval:map[chararray],appname:chararray,osver:chararray);

确保 map 中的所有值都是字符数组。