json - 如何将多个 Json 文件(可能有不同的字段)加载到一个配置单元表中

Question

我有两个在不同的两天生成的 JSON 文件。它们都属于相同的业务规范。所以我想插入一个配置单元表。怎么做到的？

场景:

拳头JSON:{“a2，“乙”:3，

第二个 JSON:{“一个”:1，"b",2,"c",3

以上两者都必须插入到同一个配置单元表中。以及如何读取字段并从中创建一个新表，这将是一个平面表？

Answer 1

将您的文件放入同一个表位置(或使用 LOAD DATA command )并使用 JSONSerDe :

CREATE EXTERNAL TABLE mytable (
  a int,
  b int,
  c int
)
ROW FORMAT SERDE 'org.apache.hive.hcatalog.data.JsonSerDe'
LOCATION '<HDFS location>' --this is HDFS/S3 location
;

如果某个 JSON 对象不包含表 DDL 中定义的所有键，则缺少的键将被解析为 NULL。