mysql - 无法使用sqoop从配置单元分区表mysql表中导出数据

Question

我正在研究 POC，我们需要将数据从 MySQL Db 获取到 Hive 分区表，然后需要将数据传输到 MySQL DB 表。我创建了支持酸属性并按年和月分区的表。所以目前我无法将数据传输到 MySQL DB。那么有人可以建议我如何实现这一目标吗？

Answer 1

您可以使用Sqoop import将表数据传输到hive，方法如下:

sqoop import --connect <connection string>
--username <> 
-P  
--table <table name> 
--target-dir <location> <table name> 
--fields-terminated-by "," 
--hive-import 
--create-hive-table 
--hive-table <hive table name

然后您可以使用 Export 代替 import 将数据导出回我的 sql。

$ sqoop export \
--connect <connect string>\
--username \
-P
--table <hive table>\ 
--export-dir <location