hadoop - 如何使用自由格式查询选项执行Sqoop导入验证

Question

我想验证Sqoop导入任务后复制的行数。我知道在使用选项--table指定表后，可以使用Sqoop的--validate选项完成此操作。在我的任务中，我使用的是自由格式查询选项(--query)而不是表格选项(--table)，当我提供选项--validate时，它将不起作用。

例:

sqoop import --connect abc.com --table test --validate->可以

sqoop import --connect abc.com --query“选择* from test where / $ CONDITIONS” --validate->不起作用

请帮忙

Answer 1

请查询sqoop validate的定义。运行该命令时，您将看到它不受支持:

跑:

sqoop import --where "INTRVL_DT = To_Date" ... --as-textfile --validate

我们得到输出:

Validation is not supported for where clause but single table only.

我尝试在这里解决此问题:

Validate a Sqoop with use of QUERY and WHERE clauses

您可以与我联系，我们可以继续努力。