hadoop - 配置单元插入覆盖所有分区

Question

This question already has an answer here:

Insert overwrite on partitioned table is not deleting the existing data

(1个答案)


5个月前关闭。




假设昨天我加载了partition_dates的数据:01-01、02-01至10-01
今天加载数据时，我看到partition_dates为:01-01、03-01到11-01，这意味着02-01分区不可用。但是配置单元不会覆盖或删除此02-01分区。

如何动态实现此功能？

最佳答案

Truncate the table然后加载动态分区。

TRUNCATE [TABLE] table_name [PARTITION partition_spec];

省略partition_spec将截断表中的所有分区。

表应该被管理。如果它是外部的，请在截断之前对其进行管理:

ALTER TABLE mytable SET TBLPROPERTIES('EXTERNAL'='FALSE');

Also you can use drop partition with < or > operator.

关于hadoop - 配置单元插入覆盖所有分区，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/62237523/

上一篇：docker - Docker Add命令在嵌套目标目录中不起作用

下一篇：docker - Docker无法启动

Answer 1

Truncate the table然后加载动态分区。

TRUNCATE [TABLE] table_name [PARTITION partition_spec];

省略partition_spec将截断表中的所有分区。

表应该被管理。如果它是外部的，请在截断之前对其进行管理:

ALTER TABLE mytable SET TBLPROPERTIES('EXTERNAL'='FALSE');

Also you can use drop partition with < or > operator.