python - 如何创建sqoop mysql到hive分区？

Question

创建 sqoop mysql 到 hive 分区？我的代码下面需要清晰的解释

    sqoop import --connect jdbc:mysql://localhost/arun  --table account --username root --password hadoop -m 1  --hive-partition-key "name" --hive-partition-value "arun" --hive-database company  --create-hive-table  --hive-table account5  --target-dir /user/sqooptest21

Answer 1

根据您的命令。

sqoop import --connect jdbc:mysql://localhost/arun  --table account --username root --password hadoop -m 1  --hive-partition-key "name" --hive-partition-value "arun" --hive-database company  --create-hive-table  --hive-table account5  --target-dir /user/sqooptest21

您要将数据库表从 mysql 导入到 hdfs(迁移)。

• --connect:您正在连接到 SQL 中名为“arun”的数据库。
• --table:您要迁移“帐户”的 SQL 表的名称
• --username & --password:MySQL服务器的用户名和密码。
• -m:用于迁移数据的映射器数量。
• --hive-partition-key:要分区的配置单元字段的名称(在您的情况下为名称字段)分片
• --hive-partiton-value:字符串值(arun)，用作在此作业中导入到 hive 的分区键
• --create-hive-table:如果设置，则如果目标 hive 表存在，作业将失败。默认情况下此属性为 false
• --hive-table :hive 中要存储数据的表的名称
• --target-dir :hdfs中存储SQL迁移数据的目录名。

希望这有帮助! :)