oracle - Sqoop 增量导入和更新

Question

我正在尝试将数据从 sql 导入到配置单元数据库中。目标是使用sqoop import将oracle数据库中的变化更新到hive中。 sqoop命令如下:

sqoop import -D mapred.child.java.opts='\-Djava.security.egd=file:/dev/../dev/urandom' 
--connect jdbc:oracle:thin:@(DESCRIPTION=(ADDRESS_LIST=(LOAD_BALANCE=ON)(FAILOVER=ON)(ADDRESS=(PROTOCOL=TCP)(HOST=)(PORT=1545))(ADDRESS=(PROTOCOL=TCP)(HOST=)(PORT=1545)))(CONNECT_DATA=(SERVICE_NAME=)(SERVER=DEDICATED)))'
 --username abcde  
--password 1234rgtds  
--table Customer_Acc 
--columns Name,ID,Address,Date_booking ,Last_update_date
-m 1
 --target-dir /final/table 
 --hive-import 
--hive-table tesupd 
--map-column-hive Name,ID,Address,Date_booking
 --null-string '\\N' 
--null-non-string '\\N' 
--hive-delims-replacement ' ' 
--incremental lastmodified 
--check-column Last_update_date
--last-value "2009-12-31 12:14:28"

最终输出应该是大于最后一个值的数据，但在上述情况下它是附加数据而不是增量更新数据。

我希望数据被更新而不是附加。

Answer 1

在 sqoop-import 命令中使用 --merge-key 选项。这将用最新记录替换旧记录。

您也可以使用 sqoop-merge 命令，但应该分两步完成。首先是不带 merge-key 的 sqoop-import 然后是 sqoop-merge