hadoop - 如何在 Hive 中插入以原始日期作为分区的表？

Question

create  table h5_qti_desc
( h5id string,
  query string,
  title string,
  item string,
  query_ids string,
  title_ids string,
  item_ids string,
  label bigint
)PARTITIONED BY (day string)  LIFECYCLE 160;

insert overwrite into h5_qti_desc
select * from aaa
;

我创建了一个名为h5_qti_desc的表，我想从另一个aaa表插入到其中，该表有天的字段并且aaa中没有分区。表aaa有好几天，比如'20171010','20171015'...
如何插入一次h5_qti_desc，以天为分区，aaa中的天作为h5_qti_desc分区中的天。

Answer 1

您可以使用 Hive 动态分区功能来插入数据。动态分区插入(或多分区插入)旨在通过在扫描输入表时动态确定应创建和填充哪些分区来解决此问题。

下面是使用一条插入语句将数据加载到所有分区的示例:

hive>set hive.exec.dynamic.partition.mode=nonstrict;

hive>INSERT OVERWRITE TABLE h5_qti_desc PARTITION(day)
             SELECT * FROM aaa
             DISTRIBUTE day;