hadoop - 如何插入配置单元表，按从临时表中读取的日期划分？

Question

This question already has answers here:

Hive dynamic partitioning

(2个答案)


在8个月前关闭。




我有一个Hive临时表，没有任何具有所需数据的分区。我想选择此数据，然后插入按日期划分的另一个表中。我尝试过以下运气不好的技术。

源表模式

 CREATE TABLE cls_staging.cls_billing_address_em_tmp
( col1 string,
 col2 string,
col3 string);

目标表:

CREATE TABLE cls_staging.cls_billing_address_em_tmp
    ( col1 string,
     col2 string,
    col3 string) 
    PARTITIONED BY (
       curr_date string) 
      STORED AS ORC;

查询插入目标表:

insert overwrite table cls_staging.cls_billing_address_em_tmp partition (record_date)  select col1, col2, col3, FROM_UNIXTIME(UNIX_TIMESTAMP()) from myDB.mytbl;

错误

Dynamic partition strict mode requires at least one static partition column

第二名

insert overwrite table cls_staging.cls_billing_address_em_tmp partition (record_date = FROM_UNIXTIME(UNIX_TIMESTAMP()))  select col1, col2, col3 from myDB.mytbl;

错误:

cannot recognize input near 'FROM_UNIXTIME' '(' 'UNIX_TIMESTAMP'

最佳答案

1st开机动态分区和非严格模式:

set hive.exec.dynamic.partition=true;
set hive.exec.dynamic.partition.mode=nonstrict;

insert overwrite table cls_staging.cls_billing_address_em_tmp partition (record_date)  
select col1, col2, col3, current_timestamp from myDB.mytbl;

第二:请勿为此使用 unix_timestamp()，因为它将生成许多不同的时间戳，请使用 current_timestamp常量，请阅读: https://stackoverflow.com/a/58081191/2700344

关于hadoop - 如何插入配置单元表，按从临时表中读取的日期划分？ ，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/60624323/

上一篇：python - 什么是从hadoop导出数据到Oracle句柄删除且停机时间最短的有效方法？

下一篇：apache-spark - Pyspark-将文件从本地(边缘节点)复制到HDFS位置时出错

Answer 1

1st开机动态分区和非严格模式:

set hive.exec.dynamic.partition=true;
set hive.exec.dynamic.partition.mode=nonstrict;

insert overwrite table cls_staging.cls_billing_address_em_tmp partition (record_date)  
select col1, col2, col3, current_timestamp from myDB.mytbl;

第二:请勿为此使用 unix_timestamp()，因为它将生成许多不同的时间戳，请使用 current_timestamp常量，请阅读: https://stackoverflow.com/a/58081191/2700344