hadoop - Hive分区查询正在扫描所有分区

Question

当我写如下的 hive 查询时

select count(*)
from order
where order_month >= '2016-11';

第1阶段的Hadoop作业信息:映射器数量:5； reducer 数量:1

我仅获得5个映射器，这意味着仅读取所需的分区(2016-11和2016-12)

我使用函数编写的相同查询

select count(*)
from order
where order_month >= concat(year(DATE_SUB(to_date(from_unixtime(UNIX_TIMESTAMP())),10)),'-',month(DATE_SUB(to_date(from_unixtime(UNIX_TIMESTAMP())),10)));

注意:

concat(year(DATE_SUB(to_date(from_unixtime(UNIX_TIMESTAMP())),10)),'-',month(DATE_SUB(to_date(from_unixtime(UNIX_TIMESTAMP())),10))) = '2016-11'

第1阶段的Hadoop作业信息:映射器数量:216； reducer 数量:1

这次是读取所有分区{ 2004-10至2016-12}。 。

如何修改查询以仅读取所需的分区。

Answer 1

unix_timestamp()函数是不确定性的，会阻止适当的查询优化-从2.0开始，建议使用CURRENT_TIMESTAMP和CURRENT_DATE弃用此函数。

使用current_date，也无需分别计算年和月:

where order_month >= substr(date_sub(current_date, 10),1,7)