hadoop - 将分区添加到没有数据的配置单元表

Question

我正在尝试创建一个与另一个表具有相同列(配置分区)的配置单元表。我使用以下查询相同

CREATE TABLE destTable STORED AS PARQUET AS select * from srcTable where 1=2;

显然我不能使用'PARTITIONED BY(col_name)'，因为不能对destTable进行分区。但我想提一提的是，在向destTable添加数据之前，应该按一列对其进行分区(与srcTable相同)。

有没有办法做到这一点？

Answer 1

如您所述，destTable不能是分区表，因此无法直接执行此操作。而且，destTable不能是外部表。

在这种情况下，您将需要创建一个临时的“staging_table”(未分区和由Hive管理的表)来保存数据。

步骤1:将所有内容从srcTable传输到staging_table

步骤2:创建分区的destTable并执行以下操作:

INSERT OVERWRITE TABLE destTable PARTITION(xxxx)
SELECT * FROM staging_table;

希望这可以帮助。