hadoop - 从分区表复制 Hive

Question

我有一个按年、月和日分区的原始表。例如:

col_1    col_2    col_3    YEAR    MONTH    DATE 
a        b        c        2017    03       25

我想创建一个新表，它是该表的子集，但仍保持原始表的分区。

像

这样简单的东西

CREATE new_table AS 
SELECT * 
FROM original_table 
WHERE (conditions);

但是，由于原始表太大，我必须通过分区遍历此查询。

我目前的解决方案是编写一个 shell 脚本，遍历所有分区并为每个分区运行单独的查询。

示例:

for year in '2016' '2017'
    do
    for month in '01' '02' ...
        do
        for day in '01' '02' ...
            do
            hive -e "INSERT INTO new_table SELECT * FROM original_table WHERE YEAR=$year AND MONTH=$month etc."
        done
    done
done

但这看起来非常迂回和低效。有没有办法直接在配置单元中将其作为一行来执行？

Answer 1

我最近不得不在几天的时间里做这样的事情，但它需要你复制原始表的架构，或者至少使用 CREATE TABLE LIKE

但是，最重要的是，您的插入语句需要指定分区

CREATE TABLE new_table (
    fields... 
)
PARTITIONED BY (year STRING, month STRING, day  STRING);

INSERT OVERWRITE TABLE new_table PARTITION(year, month, day) 
SELECT fields... , year, month, day -- partitions must be last
FROM original_table
WHERE 
year BETWEEN '2016' AND '2017';  -- add more, as necessary

您也可以使用 CTAS 函数，但使用分区表执行这些操作并不简单