json - 将复杂的Json数据导入hive

Question

需要一点勺子喂养，如何将复杂的 json 导入配置单元。 Json文件格式为:{"some-headers":"", "dump":[{"item-id":"item-1"},{"item-id":"item-2 "},...]}。Hive 在 dump 下提供字段。现在的 Json 文件大小不超过 200MB，但由于是转储，很快就会达到 GB。任何其他可能的方法将不胜感激。

Answer 1

发布端到端解决方案。将 JSON 转换为 Hive 表的分步过程:

步骤 1) 如果还没有安装 maven

>$ sudo apt-get install maven

步骤 2) 安装 git(如果还没有的话)

>sudo git clone https://github.com/rcongiu/Hive-JSON-Serde.git

第 3 步)进入 $HOME/HIVE-JSON_Serde 文件夹

第 4 步)构建 serde 包

>sudo mvn -Pcdh5 clean package

步骤 5) serde 文件将位于 $HOME/Hive-JSON-Serde/json-serde/target/json-serde-1.3.7-SNAPSHOT-jar-with-dependencies.jar

step 6) 在hive中添加serde作为依赖jar

 hive> ADD JAR $HOME/Hive-JSON-Serde/json-serde/target/json-serde-1.3.7- SNAPSHOT-jar-with-dependencies.jar;

第 7 步)在 $HOME/books.json 中创建 json 文件(示例)

{"value": [{"id": "1","bookname": "A","properties": {"subscription": "1year","unit": "3"}},{"id": "2","bookname":"B","properties":{"subscription": "2years","unit": "5"}}]}

步骤 8) 在 hive 中创建 tmp1 表

 hive>CREATE TABLE tmp1 (
      value ARRAY<struct<id:string,bookname:string,properties:struct<subscription:string,unit:string>>>   
)
ROW FORMAT SERDE 'org.openx.data.jsonserde.JsonSerDe'
WITH SERDEPROPERTIES ( 
    'mapping.value' = 'value'   
) 
STORED AS TEXTFILE;

第9步)将数据从json加载到tmp1表

>LOAD DATA LOCAL INPATH '$HOME/books.json' INTO TABLE tmp1;

step 10) create a tmp2 table to do explode operation form tmp1, 这个中间步骤是将多级json结构分解成多行注意:如果你的 JSON 结构简单且单层，请避免这一步

hive>create table tmp2 as 
 SELECT *
 FROM tmp1
 LATERAL VIEW explode(value) itemTable AS items;

步骤 11) 创建 hive 表并从 tmp2 表加载值

hive>create table books as 
select value[0].id as id, value[0].bookname as name, value[0].properties.subscription as subscription, value[0].properties.unit as unit from tmp2;

第 12 步)删除 tmp 表

hive>drop table tmp1;
hive>drop table tmp2;

第13步)测试hive表

hive>select * from books;

输出:

id name 订阅单位

1 B 1 年 3

2 B 2 年 5