sqoop - 在 oozie 中捕获 sqoop 输出

Question

我有一个 Oozie 工作流，它应该每 X 分钟运行一次。它从 HBase 表中读取一个值。在此之后，基于上一步从 HBase 读取的值运行(增量)Sqoop 操作。为了使工作流正常工作，我需要以某种方式从 Sqoop Oozie 操作中捕获新的 --last-value 以写回 HBase，并在下一次工作流运行时再次读取它……等等。

我该怎么做，或者是否有更好的方法？

乔纳斯

Answer 1

我觉得博客http://www.tanzirmusabbir.com/2013/05/chunk-data-import-incremental-import-in.html可能会给你一些提示。

基本上，它在 job.properties 中保留了 startindex 和 chunksize，startindex 用于 Sqoop 作业中的 where 条件，然后在 sqoop 作业之后通过 shell 脚本更改 startindex。