hadoop - 有没有办法防止在 Hive 中插入重复行？

Question

我有一个ORC 表。我使用其他表中的数据填充它，如下所示:

INSERT INTO TABLE orc_table_name SELECT * FROM other_table_name

有什么方法可以防止将重复的条目插入到 ORC 表中？

Answer 1

您可以在命令中使用 not 请参见下面的通用代码:它根据之前未插入 TABLE_1 中的 value1 的事实将记录插入到 orc_table_name。

INSERT INTO orc_table_name
  (Value1, Value2)
SELECT t1.Value1,
       t1.Value2
  FROM TABLE_1 t1
 WHERE t1.Value1 NOT IN (SELECT Value1 FROM orc_table_name)