json - 删除/忽略 json 中不需要的元素

Question

我想删除/忽略以下 json 记录中的元素:

{"_scroll_id":"==","timed_out":false,"_shards":{"total":5,"成功":5,"失败":0},"hits":{"total":6908915,"max_score":null,"hits":[{"_index":"abc_v1","_type":"composite_ request_response_v1","_id":"123","_score":1.0,"_source":{"response":{"testResults":{"docsisResults":{"devices":[{"upstreamSection":{"upstreams":[]},"fluxSection":{"fluxInfo":[{}]}}],"events":[]},"mocaResults": {"statuses":[]}}}},"sort":[null,1.0]}]}},

我有上述格式的记录。我想删除记录中突出显示的部分。有人可以指导我实现这一目标的方法吗？无论如何，我可以使用 hive/pig/linux/python 来实现这一点吗？

Answer 1

Hive中有JSON SerDe，看这个:https://cwiki.apache.org/confluence/display/Hive/Json+SerDe 因此，您可以仅定义表定义中所需的列，将文件放在表位置，然后仅选择定义的列。或者，您可以在使用 Java+ Jackson(将 Java 对象序列化或映射到 JSON 的库，反之亦然)在加载文件之前对其进行预处理/转换，这将为您提供最大的灵 active ，因为这不像使用 JSON SerDe 那么简单。