json - 如何使用 Pig 读取非分隔的 JSON？

Question

我有一个 json 文件，原始文本如下所示:

{a:1,b:2,c:3}{a:3,b:3,c:5}{a:3,b:3,c:9}

做

raw = LOAD 'jsonfile.text' USING JsonLoader('a:chararry,b:chararray,c:chararry') ;

dump raw;

只返回 1 条记录。

日志的实际摘录:

Input(s): Successfully read 1 records (630644858 bytes) from: "s3n://logstash/ls.s3.ip-10-45-56-56.2016-03-02T23.10.part42.txt"

Output(s): Successfully stored 1 records (1900 bytes) in: "hdfs://nameservice1/tmp/temp-1489272670/tmp-1959659634"

看起来只读取了 JSON 的第一条记录。 Json 文件未分隔。

有人有什么建议吗？

Answer 1

我建议做第一遍，执行字符串替换 }{ -> }\n{。然后每行将有一个有效的 json 对象，并且 json 解析应该可以工作。