hadoop - 使用 sqoop 在 HIVE 表中进行增量更新

Question

我在 oracle 中有一个只有 4 列的表...

成员id --- bigint

uuid --- 字符串

insertdate --- 日期

更新日期---日期

我想使用 sqoop 将这些数据导入 HIVE 表中。我用

创建相应的 HIVE 表

create  EXTERNAL TABLE memberimport(memberid BIGINT,uuid varchar(36),insertdate timestamp,updatedate timestamp)LOCATION '/user/import/memberimport';

和sqoop命令

sqoop import --connect jdbc:oracle:thin:@dbURL:1521/dbName --username ** --password *** --hive-import --table MEMBER --columns 'MEMBERID,UUID,INSERTDATE,UPDATEDATE' --map-column-hive MEMBERID=BIGINT,UUID=STRING,INSERTDATE=TIMESTAMP,UPDATEDATE=TIMESTAMP --hive-table memberimport -m 1   

它工作正常并且能够在 HIVE 表中导入数据。

现在我想用更新日期(今天的最后一个值)增量更新来更新这个表，这样我就可以使用 sqoop 将那个 OLTP 表的日常更新更新到我的 HIVE 表中。

对于增量导入，我使用以下 sqoop 命令

sqoop import --hive-import --connect jdbc:oracle:thin:@dbURL:1521/dbName --username *** --password *** --table MEMBER --check-column UPDATEDATE --incremental append --columns 'MEMBERID,UUID,INSERTDATE,UPDATEDATE' --map-column-hive MEMBERID=BIGINT,UUID=STRING,INSERTDATE=TIMESTAMP,UPDATEDATE=TIMESTAMP --hive-table memberimport -m 1

但是我遇到了异常

“尚不支持 hive 导入的附加模式。请删除参数 --append-mode”

当我删除 --hive-import 时，它运行正常，但我没有在 OLTP 表中的 HIVE 表中找到那些新更新。

我做错了什么吗？请建议我如何使用 sqoop 使用 Oracle - Hive 运行增量更新。

任何帮助都会被挪用..

提前致谢...

Answer 1

尽管我没有资源来准确复制您的场景。您可能想尝试构建一个 sqoop 作业并测试您的用例。

sqoop job --create sqoop_job \
  -- import \
  --connect "jdbc:oracle://server:port/dbname" \
  --username=(XXXX) \
  --password=(YYYY) \
  --table (TableName)\
  --target-dir (Hive Directory corresponding to the table) \
  --append \
  --fields-terminated-by '(character)' \
  --lines-terminated-by '\n' \
  --check-column "(Column To Monitor Change)" \
  --incremental append \
  --last-value (last value of column being monitored) \
  --outdir (log directory)

当您创建一个 sqoop 作业时，它会为后续运行处理 --last-value。同样在这里，我使用 Hive 表的数据文件作为增量更新的目标。

希望这能提供一个有用的指导。