hadoop - 使用-f hive选项传递.hql文件时，配置单元查询不起作用

Question

我有一个有线问题，到处搜索，似乎无法找到答案。我在单个节点上运行cloudera 4.6，并且正在将本地mysql db用于配置单元metastore数据库。我有很多包含数据的配置单元表，可以使用Apache HUE Hive UI进行查询。我也可以间歇性地从命令行运行查询

失败:元数据中的错误:java.lang.RuntimeException:无法实例化org.apache.hadoop.hive.metastore.HiveMetaStoreClient
失败:执行错误，从org.apache.hadoop.hive.ql.exec.DDLTask返回代码1

大约一半的时间。每当我尝试将.hql传递给如下所示的配置单元时，每次都会遇到上述错误。

hive -f test.hql 

每当我通过oozie工作流程与HIVE交互时，我也会看到此错误。我最初有一个Postgresql本地Metastore数据库，它具有类似的错误。

以下是我的hive-site.xml。任何摆脱该错误的帮助将不胜感激。

enter code here

<xml>
<?xml version="1.0" encoding="UTF-8"?>

<!--Autogenerated by Cloudera CM on 2014-07-25T21:18:21.918Z-->
<configuration>
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://localhost:3306/metastore?useUnicode=true&amp;characterEncoding=UTF-  8</value>
</property>
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
</property>
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>hive</value>
</property>
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>notmypassword</value>
</property>
<property>
<name>hive.metastore.local</name>
<value>true</value>
</property>
<property>
<name>datanucleus.autoCreateSchema</name>
<value>false</value>
</property>
<property>
<name>datanucleus.metadata.validate</name>
<value>false</value>
</property>
<property>
<name>datanucleus.fixedDatastore</name>
<value>true</value>
</property>
<property>
<name>hive.metastore.warehouse.dir</name>
<value>/data/user/hive/warehouse</value>
</property>
<property>
<name>hive.warehouse.subdir.inherit.perms</name>
<value>true</value>
</property>
<property>
<name>mapred.reduce.tasks</name>
<value>-1</value>
</property>
<property>
<name>hive.exec.reducers.bytes.per.reducer</name>
<value>1073741824</value>
</property>
<property>
<name>hive.exec.reducers.max</name>
<value>999</value>
</property>
<property>
<name>hive.metastore.execute.setugi</name>
<value>true</value>
</property>
<property>
<name>hive.support.concurrency</name>
<value>true</value>
</property>
<property>
<name>hive.zookeeper.quorum</name>
<value>els-f14847</value>
</property>
<property>
<name>hive.zookeeper.client.port</name>
<value>2181</value>
</property>
<property>
<name>hive.zookeeper.namespace</name>
<value>hive_zookeeper_namespace_hive1</value>
</property>
<property>
<name>hive.metastore.server.min.threads</name>
<value>200</value>
</property>
<property>
<name>hive.metastore.server.max.threads</name>
<value>100000</value>
</property>
<property>
<name>datanucleus.autoStartMechanism</name>
<value>SchemaTable</value>
</property>
</configuration>
</xml>

Answer 1

您是否没有有关DDLTask错误的更多信息？在Hue中，它应显示在日志选项卡的中间。

通常，当您缺少一些基本的HDFS权限时，DDL将失败。您正在脚本中执行一些ALTER / CREATE表吗？它的内容是什么？