hadoop - Hadoop中的RDMS数据归档

Question

我们正在探索将仓库或RDMS中的数据归档到Hadoop的选项。

事实上，我必须使用sqoop将数据加载到HDFS中，并且可能不得不对其进行压缩。然后删除要归档的行。

问题是当我在两个表之间具有外键关系时。我需要保持表之间的数据一致性。请帮助我的方法。

Answer 1

幸运的是，我可以使用Sqoop API找到解决方案。我正在触发联接查询，以便首先从子表中选择数据，然后从父表中选择数据。我已经使用Sqoop API在Java程序中编写了所有逻辑。