hadoop - 使用配置单元在大范围分区中选择数据

Question

我使用 hive 在大范围分区中选择数据时出现了一些问题

这是我要执行的HQL:

INSERT OVERWRITE TABLE summary_T partition(DateRange='20131222-20131228')
select col1, col2, col3 From RAW_TABLE 
where cdate between '20131222' and '20131228' 
and (trim(col1) IS NULL or trim(col1)='')
and length(col2)=12;

“cdate”是表RAW_TABLE的分区

但给我工作编号后卡住了

一旦将其更改为:

INSERT OVERWRITE TABLE summary_T partition(DateRange='20131222-20131228')
select col1, col2, col3 From RAW_TABLE 
where cdate between '20131222' and '20131225' 
and (trim(col1) IS NULL or trim(col1)='')
and length(col2)=12;

然后开始工作

有什么解决方案可以帮助我执行第一个HQL？

感谢您的帮助!

Answer 1

我遇到了类似的问题，并尝试在SELECT语句的末尾使用CLUSTER BY 'partition_column'。使用它之后，我可以在更大的日期范围内执行INSERT。

因此，如果您将查询更改为:

INSERT OVERWRITE TABLE summary_T partition(DateRange='20131222-20131228')
select col1, col2, col3 From RAW_TABLE 
where cdate between '20131222' and '20131228' 
and (trim(col1) IS NULL or trim(col1)='')
and length(col2)=12
CLUSTER BY DateRange;

性能应提高。

有关CLUSTER BY如何帮助查询的说明，您可以浏览此手册页面，该页面对其进行了详细说明:

https://cwiki.apache.org/confluence/display/Hive/LanguageManual+SortBy