mysql - 使用Sqoop从MySQL导入数据到Hive

Question

我正在使用 Sqoop(版本 1.4.4)将数据从 MySQL 导入到 Hive。数据将是其中一个表的子集，即表中的几列。是否有必要事先在 Hive 中创建表。还是导入数据会创建命令中指定的名称，如果它不在 Hive 中？

Answer 1

如 sqoop documentation 中所述，如果您在命令中使用 --hive-import 参数，则不必创建任何配置单元表

例子:

sqoop import \
--connect jdbc:mysql://mysql_server:3306/db_name \
--username mysql_user \
--password mysql_pass \
--table table_name \
--hive-import

另外...如果您想安排完整的数据导入，例如每天一次，请考虑 --hive-overwrite 参数