hadoop - Sqoop Hive 以状态 1 退出

Question

当我执行时:

sqoop import --connect jdbc:mysql://localhost/testdb --table test --hive-table test --hive-import -m 1 

我收到以下错误消息:

13/04/21 16:42:50 ERROR tool.ImportTool: Encountered IOException running import job: java.io.IOException: Hive exited with status 1
    at org.apache.sqoop.hive.HiveImport.executeExternalHiveScript(HiveImport.java:364)
    at org.apache.sqoop.hive.HiveImport.executeScript(HiveImport.java:314)
    at org.apache.sqoop.hive.HiveImport.importTable(HiveImport.java:226)
    at org.apache.sqoop.tool.ImportTool.importTable(ImportTool.java:415)
    at org.apache.sqoop.tool.ImportTool.run(ImportTool.java:476)
    at org.apache.sqoop.Sqoop.run(Sqoop.java:145)
    at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:65)
    at org.apache.sqoop.Sqoop.runSqoop(Sqoop.java:181)
    at org.apache.sqoop.Sqoop.runTool(Sqoop.java:220)
    at org.apache.sqoop.Sqoop.runTool(Sqoop.java:229)
    at org.apache.sqoop.Sqoop.main(Sqoop.java:238)

我尝试用谷歌搜索但没有找到解决方案。我在本地以伪分布式方式设置了 Hadoop。 Hive 运行良好......我使用了嵌入式 Metastore。任何想法如何解决这一问题？谢谢，迪迪

Answer 1

根据日志，您似乎遇到了以下异常:

13/04/22 18:34:44 信息 hive.HiveImport:线程“main”中的异常 java.lang.NoSuchMethodError:org.apache.thrift.EncodingUtils.setBit(BIZ)B

我以前在用户使用“不兼容”版本的 HBase 和 Hive 时遇到过这个问题。不兼容性通常可以在多个级别上，但这个特定的级别是 HBase 和 Hive 使用不同的 thrift 版本时。由于 Sqoop 正在将 HBase 和 Hive jar 添加到类路径中，因此只有一个 thrift 版本可以激活，因此“第二个”工具(通常是 hive)无法正常工作。

您是否在执行 Sqoop 的机器上同时安装了 HBase 和 Hive？如果是这样，你能检查每个项目正在使用的节俭版本吗？只需搜索“*thrift*.jar”。如果对这两个问题的回答都是肯定的，那么您可能会将 HBASE_HOME 设置为不存在的内容，以强制 Sqoop 不加载 HBase 的 thrift 版本。