tokenize - Pig 中如何将字段转换为行？

Question

我想将 Pig 中的字段转换为行。

来自 input.txt

1 2 34 5 67 8 9

字段之间的分隔符是“\t”。

到输出.txt

1234...但我不能使用 TOKENIZER 因为字段的内容可能是一个句子。请帮我。非常感谢。

Answer 1

我认为alexeipab的回答是正确的方向。这是一个简单的例子:

> A = load 'input.txt';
> dump A
(0,1,2,3,4,5,6,7,8,9)
> B = foreach A generate FLATTEN(TOBAG(*));
> dump B
(0)
(1)
(2)
(3)
(4)
(5)
(6)
(7)
(8)
(9)