mysql - 使用 sqoop 从 mysql 表更新 hive 表

Question

我已经有一个名为 Roles 的 Hive 表。我需要用来自 mysql 的信息更新这个表。因此，我使用了这个脚本，认为它会在我的配置单元表上添加和更新新数据:`

sqoop import --connect jdbc:mysql://nn01.itversity.com/retail_export --username retail_dba --password itversity \ --table roles --split-by id_emp --check-column id_emp --last-value 5 --incremental append \ --target-dir /user/ingenieroandresangel/hive/roles --hive-import --hive-database poc --hive-table roles

不幸的是，这只插入新数据，但我无法更新已经存在的记录。在你问几个问题之前:

• 该 table 没有 PK

• 如果我不指定 --last-value 作为参数，我将获得已存在的重复记录。

如何在不应用截断表或使用 PK 重新创建表的情况下解决这个问题？存在方式吗？

谢谢大家。

Answer 1

Hive 不操作更新查询。您必须删除/截断旧表并再次重新加载。