java - Hive 开箱即用的 json 解析器

Question

我有一个包含我想加载到 Hive 的 json 记录的文本文件。我的 json 看起来像:

{"vr":1,"tm":1312816191516,"tms":"08-08-2011 15:09:51.516 GMT","as":1002,"pb":1102,"cts":[1204,1205],"ctgs":[1304,1305],"op":1400,"ev":2,"dv":1503,"dvgs":[1605,1606],"cnt":"cnt5","usr":"usr8","atts":[{"id":8002,"val":"ccc"},{"id":8003,"val":"ddd"}],"sel":{"cm":2102,"ty":"PRE","ag":3002,"ad":4002,"fl":5002,"fla":6002,"hg":7002,"mc":"WAP","pr":0.1}}

如您所见，我有一个嵌套的 json，其中包含基元数组和对象数组。

是否可以使用任何内置函数将其按原样加载到 Hive 中？

尤西

Answer 1

您应该能够按原样将其加载到 Hive 中。您可能需要对 " 进行转义。我还没有将 JSON 加载到配置单元中，因此如果需要进行任何转义，则不是 100%。

访问配置单元中的 JSON 元素； Hive 有一个内置函数来执行此操作。 get_json_object，详细可以看这里 https://cwiki.apache.org/confluence/display/Hive/LanguageManual+UDF#LanguageManualUDF-getjsonobject