csv - Pig Latin 正在加载包含 !作为分隔符

Question

我是 Pig 的新手，所以可能有一个简单的解决方案，但我无法弄清楚。

问题:我有一个以 ! 作为分隔符的平面文件，所以文件的结构看起来像这样

!id!value!value2
!1!100!200

当我尝试使用 pigstorage('\t') 加载此文件时，所有内容都加载到第一个变量中。

 foo=load'bar.txt' using Pigstorage('\t') as 
 Id:chararray,value:chararray,value3:chararray;

这不起作用，因为所有文件都被读取到 ID 列中。我想拆分负载，以便在其正确的列中读取每个值。

到目前为止，我尝试了在 how to load files with different delimiter each time in piglatin 上找到的 customloader

但是，这不适用于 !。

提前致谢

Answer 1

你试过吗

foo=load'bar.txt' using Pigstorage('!') as 
 Id:chararray,value:chararray,value3:chararray;