import - 在RDBMS中没有主键的Sqoop导入

Question

我可以导入RDBMS表数据(表没有主键)以使用sqoop进行配置吗？如果是，那么您可以给sqoop import命令。

我已经尝试使用sqoop import通用命令，但是失败了。

Answer 1

如果您的表没有定义主键，那么您必须提供-m 1选项来导入数据，或者必须为--split-by参数提供一些列名，否则会出现错误:

ERROR tool.ImportTool: Error during import: No primary key could be found for table <table_name>. Please specify one with --split-by or perform a sequential import with '-m 1'

然后您的sqoop命令将如下所示

sqoop import \
    --connect jdbc:mysql://localhost/test_db \
    --username root \
    --password **** \
    --table user \
    --target-dir /user/root/user_data \
    --columns "first_name, last_name, created_date"
    -m 1

或者

sqoop import \
    --connect jdbc:mysql://localhost/test_db \
    --username root \
    --password **** \
    --table user \
    --target-dir /user/root/user_data \
    --columns "first_name, last_name, created_date"
    --split-by created_date