hadoop - 如何从 Hive 表中删除重复记录？

Question

我正在尝试学习如何从 Hive 表中删除重复记录。

我的 Hive 表:'dynpart' 列:Id、Name、Technology

Id  Name  Technology
1   Abcd  Hadoop
2   Efgh  Java
3   Ijkl  MainFrames
2   Efgh  Java

我们可以在选择查询中使用诸如“Distinct”之类的选项，但选择查询只是从表中检索数据。谁能告诉我如何使用删除查询从 Hive 表中删除重复行。

确定在 Hive 中删除/更新记录不推荐或不是标准。但我想了解我们如何做到这一点。

Answer 1

可以使用insert overwrite语句来更新数据

insert overwrite table dynpart select distinct * from dynpart;