hive - Hive 动态分区和静态分区的主要区别

Question

Hive 中静态分区和动态分区的主要区别是什么？使用单独的插入意味着静态，而对分区表的单个插入意味着动态。还有什么优点吗？

Answer 1

在静态分区中，我们需要在每个 LOAD 语句中指定分区列值。

假设我们对表 t1 的列国家/地区进行分区(用户 ID、姓名、职业、国家/地区)，因此每次我们都需要提供国家/地区值

hive>LOAD DATA INPATH '/hdfs path of the file' INTO TABLE t1 PARTITION(country="US")
hive>LOAD DATA INPATH '/hdfs path of the file' INTO TABLE t1 PARTITION(country="UK")

动态分区允许我们不必每次都指定分区列值。我们遵循的方法如下:

1. 创建一个非分区表t2并向其中插入数据。
2. 现在创建一个按预期列(例如国家/地区)分区的表 t1。

3. 从 t2 加载 t1 中的数据，如下所示:

   hive> INSERT INTO TABLE t2 PARTITION(country) SELECT * from T1;
   

4. 确保分区列始终是非分区表中的最后一个(因为我们在 t2 中有国家/地区列)