hadoop - 识别配置单元表中缺失的分区

Question

我的表每天运行并在每一天生成一个名为 date 的分区列

例如:我的查询生成日期

2018-01-01
2018-01-02
2018-01-03
2018-01-06
2018-01-08

2018-01-05 和 2018-01-07 日期缺失。有什么方法可以识别那些丢失的日期吗？

Answer 1

下面的查询将 1) 创建一个临时表，其中包含从开始分区日期到最新分区日期的连续日期 2) 执行左连接并查看缺少哪些分区日期(partition_dt 为空)。希望这可以帮助。谢谢。

create table partition_dtes as 
with cal_date as (select min(partition_dt) as min_dt, max(partition_dt) as max_dt from mytable) 
select date_add(t.min_dt, pe.idx) as series_dte
from  cal_date t
lateral view
posexplode(split(space(datediff(t.max_dt,t.min_dt)),' ')) pe as idx, dte; 
Result: 
2018-01-01
2018-01-02
2018-01-03
2018-01-04
2018-01-05
2018-01-06
2018-01-07
2018-01-08

select distinct dte.series_dte
from partition_dtes dte
left join mytable  tbl
on dte.series_dte=tbl.partition_dt
where tbl.partition_dt is null
order by dte.series_dte;

Result:
   2018-01-04
   2018-01-05
   2018-01-07