jdbc - 如果涉及 MR，Hive jdbc 连接会出错

Question

我正在 HDP 2.1 中处理 Hive-jdbc 连接

代码适用于不涉及 mapreduce 的查询，例如“select * from tabblename”。当使用“where”子句修改查询或我们指定列名(它将在后台运行 mapreduce)时，相同的代码会显示错误。

我已经通过在 HiveCLI 中执行来验证查询的正确性。
我还验证了我运行 java-jdbc 代码的用户的表的读/写权限。

错误如下

    java.sql.SQLException: Error while processing statement: FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask
    at org.apache.hive.jdbc.HiveStatement.execute(HiveStatement.java:275)
    at org.apache.hive.jdbc.HiveStatement.executeQuery(HiveStatement.java:355)
    at com.testing.poc.hivejava.HiveJDBCTest.main(HiveJDBCTest.java:25)

Answer 1

今天我从java提交hive任务时也遇到了这个异常。
以下错误:

org.apache.hive.jdbc.HiveDriverorg.apache.hive.jdbc.HiveDriverhive_driver:
org.apache.hive.jdbc.HiveDriverhive_url:jdbc:hive2://10.174.242.28:10000/defaultget 
connection sessucess获取hive连接成功！
java.sql.SQLException: Error while processing statement: FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask

我尝试在 hive 中使用 sql execute，它运行良好。然后我看到了登录 /var/log/hive/hadoop-cmf-hive-HIVESERVER2-cloud000.log.out然后我找到了这个错误的原因。以下错误:

Job Submission failed with exception 'org.apache.hadoop.security.AccessControlException(Permission denied: user=anonymous, access=WRITE, inode="/user":hdfs:supergroup:drwxr-xr-x

解决方案
我使用了以下命令:

sudo -u hdfs hadoop fs -chmod -R 777  /

这解决了错误!

hive_driver:org.apache.hive.jdbc.HiveDriver
hive_url:jdbc:hive2://cloud000:10000/default
get connection sessucess
获取hive连接成功！
Heart beat
执行insert成功！