mysql - 如何将mysql表转移到hive？

Question

我有一个大型 mysql 表，我想将其传输到 Hadoop/Hive 表。是否有标准命令或技术可以将一个简单(但很大)的表从 Mysql 传输到 Hive？该表主要存储分析数据。

Answer 1

1. 首先下载mysql-connector-java-5.0.8，并将jar放到Sqoop的lib和bin文件夹中

2. 在 Hive 中创建表定义，像在 mysql 中一样使用准确的字段名称和类型

   sqoop import --verbose --fields-terminated-by ',' --connect jdbc:mysql://localhost/test --table employee --hive-import --warehouse-dir/user/hive/warehouse --fields-terminated-by ',' --split-by id --hive-table employee

测试 - 数据库名称

员工 - 表名(出现在测试中)

/user/hive/warehouse - HDFS 中需要导入数据的目录

--split-by id - id可以是'employee'表的主键

--hive-table employee - 其定义存在于 Hive 中的员工表

Sqoop User Guide (学习Sqoop的最佳指南之一)