hadoop - 来自输入的 PigStorage 和变量模式

Question

我有一个逗号分隔的文本文件，例如

1,abc,1,
2,def,1,2,3,4
3,ghi,1,2
4,jkl,1,5,6,7,8,9
5,mno

文本文件将始终具有前两个值，但在第二个逗号之后将具有 0 个或多个值。

如何加载此数据并为前两个值指定别名？

我可以加载它而不是通过以下方式为前两个值提供别名:

A = LOAD 'data.txt' USING PigStorage(',');

从这里开始，我可以执行 B = FOREACH A GENERATE $0 AS foo:chararray, $1 AS bar:chararray; 但它会丢弃其余部分。做一个通配符并将其余的放在一个元组中会很好。

有什么办法吗？

Answer 1

试试这个

B = foreach A generate $0 as foo:chararray, $1 as bar:chararray, $2..;

引用

Drop single column in Pig