hadoop - 我们可以通过多列组合拆分 Sqoop 作业吗

Question

我使用以下 Sqoop 语法按单列 [主要是主键] 拆分 Sqoop 作业。

sqoop import --connect jdbc:oracle:thin:@//oracle_server:1521/sid --username xxx --password xxx --table EMPLOYEE --split-by ID -m 10

如果没有主键来拆分Sqoop作业，我们可以使用多列组合吗？

sqoop import --connect jdbc:oracle:thin:@//oracle_server:1521/sid --username xxx --password xxx --table EMPLOYEE --split-by FIRST_NAME,LAST_NAME -m 10

Answer 1

没有。我们只能在 Split-by 中使用一列，否则您将收到错误消息 - 无效的列名“FIRST_NAME，LAST_NAME”。

请注意，如果您没有拆分列，则必须显式设置 --num-mappers 1 或 -m 1