mysql - Sqoop - 从配置单元导出到 mysql 时出错

Question

我在使用 sqoop 将 hive bigint 数据导出到 mysql 时遇到问题。

mysql和hive中列的类型都是bigint。

我收到以下错误:

Caused by: java.lang.NumberFormatException: For input string: "3465195470"
...
At java.lang.Integer.parseInt (Integer.java:583)

好像是将存储在hdfs中的字符串转为数值类型时出错。

hive和mysql列都是bigint类型，如何解决？

添加sqoop命令

export -connect "jdbc:mysql://{url}/{db}?{option}" 
--username {username} 
--password {password} 
--table {username} 
--columns  "column1,column2,column3"  
--export-dir /apps/hive/warehouse/tmp.db/{table} 
--update-mode allowinsert 
--update-key column1 
--input-fields-terminated-by "\001"   
--input-null-string "\\N"  
--input-null-non-string "\\N" 
--null-string "\\N"  
--null-non-string "\\N"

Answer 1

这可能是由于缺少列或列位置错误导致的问题。

也不需要--null-string 和-null-non-string。这些在 sqoop import 命令中使用。