hadoop - 将Pig “GROUP BY”的结果存储到HDFS中

Question

我正在寻找一种方法来将Pig中的“group by”命令的输出存储到文件中。

(D1,{(A1,null,C1,D1,E1),(null,B1,C1,D1,E1),(A2,null,null,D1,E2)})
(C1,{(A1,null,C1,D1,E1),(null,B1,C1,D1,E1)})

我已经尝试了store命令，但是没有完全按照显示的方式复制数据。

store F into '/tmp/group_out';

是否有其他方法可以将数据复制到文件中，使其显示方式相同？

Answer 1

默认的PigStorage函数(使用STORE调用)在某种程度上是可配置的:http://pig.apache.org/docs/r0.12.0/func.html#pigstorage-您可以设置例如字段和记录定界符。

如果您需要一种特殊的格式来存储数据，则必须实现custom Store UDF。