hadoop - 尽管表中有主键，但导入时 Sqoop --split-by 错误

Question

以dept_id为主键的MySQL表

|dept_id | dept_name |  
| 2 | Fitness   
| 3 | Footwear  
| 4 | Apparel   
| 5 | Golf      
| 6 | Outdoors  
| 7 | Fan Shop  

Sqoop 查询

sqoop import \  
-m 2 \  
--connect "jdbc:mysql://quickstart.cloudera:3306/retail_db" \  
--username retail_dba \  
-P \  
--query 'select * from departments where dept_id < 6  AND $CONDITIONS' \      
--target-dir /user/cloudera/sqoop_import/departments;

控制台出错的结果:

When importing query results in parallel, you must specify --split-by

---问题点!---
即使该表具有主键并且拆分可以在 2 个映射器之间平均分配，那么 --spit-by 或 -m 1 的需求是什么？

同样指导我。
谢谢。

Answer 1

Sqoop import之所以在使用--query时需要--split-by，是因为在query中指定数据的来源位置时，无法知道/猜测Sqoop的主键。因为，在查询中，您可以连接两个或多个具有多个键和字段的表。因此，Sqoop 无法知道/猜测它可以根据哪些键进行拆分。