apache-pig - PIG 中的多级 JSON

Question

我是 PIG 脚本和 JSON 的新手。我需要在 PIG 中解析多级 json 文件。说，

{
     "firstName": "John",
     "lastName" : "Smith",
     "age"      : 25,
     "address"  :
     {
         "streetAddress": "21 2nd Street",
         "city"         : "New York",
         "state"        : "NY",
         "postalCode"   : "10021"
     },
     "phoneNumber":
     [
         {
           "type"  : "home",
           "number": "212 555-1234"
         },
         {
           "type"  : "fax",
           "number": "646 555-4567"
         }
     ]
 }

我能够通过 JsonLoader() 解析单级 json 并进行连接和其他操作，并获得所需的结果 JsonLoader('name:chararray,field1:int .....');是否可以使用 PIG 0.10.0 的内置 JsonLoader() 函数解析上述 JSON 文件。如果是。请解释一下它是如何完成的以及如何访问特定 JSON 的字段？

Answer 1

您可以使用 Twitter 的 Elephant Bird 处理嵌套的 json 加载:https://github.com/kevinweil/elephant-bird

a = LOAD 'file3.json' USING com.twitter.elephantbird.pig.load.JsonLoader('-nestedLoad')

这会将 JSON 解析为映射 http://pig.apache.org/docs/r0.11.1/basic.html#map-schema JSONArray 被解析为 map 的 DataBag。