hadoop - sqoop 作业未使用参数运行

Question

我正在尝试运行 sqoop 作业。我正在使用 sqoop 版本 Sqoop 1.4.6-cdh5.8.0 但它不适用于此版本

它在 Sqoop 1.4.5-cdh5.4.0 上运行良好。

 sqoop job --create E8 -- import  --connect jdbc:mysql://localhost/test -- username root --password cloudera --table NAME --hive-import -m1

 sqoop job --exec E8 -- --table dummy1

是否有任何语法问题。如果有人可以帮助解决这个问题。

       Warning: /usr/lib/sqoop/../accumulo does not exist! Accumulo 
       imports  will fail.
       Please set $ACCUMULO_HOME to the root of your Accumulo installation.
       16/12/23 04:48:10 INFO sqoop.Sqoop: Running Sqoop version: 1.4.6-
       cdh5.8.0
       Enter password: 
       16/12/23 04:48:19 INFO manager.MySQLManager: Preparing to use a 
       MySQL  streaming resultset.
       16/12/23 04:48:19 INFO tool.CodeGenTool: Beginning code generation
       16/12/23 04:48:20 INFO manager.SqlManager:
       Executing SQL statement: SELECT t.* FROM `NAME` AS t LIMIT 1
       16/12/23 04:48:20 ERROR manager.SqlManager: Error executing 
       statement: 
       com.mysql.jdbc.exceptions.jdbc4.MySQLSyntaxErrorException: Table    
      'test.NAME' doesn't exist

Answer 1

假设您已经进行了基本检查(例如手动将参数放入作业并执行它)，我会说语法看起来是正确的。

当查看 the doc 时有人提到可以覆盖属性。不幸的是，他们只展示了一个添加属性的示例，并没有展示重写的属性。

我通过搜索找到了 this open issue这让我相信有一个错误会阻止您正确覆盖参数。

---

不幸的是，我没有看到这个问题的解决方案，有些事情可能有助于解决这个问题:

• 在不同层面上进行参数化
• 尝试使用语法(如果它是第一个/最后一个覆盖元素，它有帮助吗？如果您尝试覆盖并添加用户会怎样？如果您尝试覆盖查询参数而不是表参数会怎样...)