hadoop - 无法以远程模式运行Hive Metastore

Question

我在Apache Hadoop分布式集群中添加了Hive。而不是在本地目录中创建metastore，我想在HDFS中创建metastore。但是，我在hive-site.xml中的设置似乎无效。我收到如下错误，似乎配置单元仍尝试在本地模式下使用run metastore。

java.sql.SQLException: Directory /home/zz/metastore_db cannot be created.

谁能告诉我我的设置出了什么问题？非常感谢!

以下是我的hive-site.xml内容:

<property>
    <name>javax.jdo.option.ConnectionURL</name>
    <value>jdbc:mysql://client2/metastore</value>
</property>

<property>
    <name>javax.jdo.option.ConnectionDriverName</name>
    <value>com.mysql.jdbc.Driver</value>
    <description>MySQL JDBC driver class</description>
</property>

<property>
    <name>hive.metastore.warehouse.dir</name>
    <value>/user/hive/warehouse</value>
    <description>location of default database for the warehouse</description>
</property>

<property>
    <name>javax.jdo.option.ConnectionUserName</name>
    <value>hive</value>
    <description>user name for connecting to mysql server </description>
</property>

<property>
    <name>javax.jdo.option.ConnectionPassword</name>
    <value>hadoop</value>
</property>

<property>
    <name>hive.metastore.schema.verification</name>
    <value>false</value>
</property>

<property>
    <name>hive.server2.servermode</name>
    <value>thrift</value>
</property>

<property>
    <name>datanucleus.autoCreateSchema</name>
    <value>false</value>
</property>

<property>
    <name>datanucleus.fixedDatastore</name>
    <value>true</value>
</property>

<property>
    <name>hbase.zookeeper.quorum</name>
    <value>master1</value>
</property>

<property>
    <name>hive.metastore.uris</name>
    <value>thrift://client2:9083</value>
    <description>IP address (or fully-qualified domain name) and port of the metastore host</description>
</property>

Answer 1

确保在 hive 类路径中存在hive-site.xml文件。您的情况是更新后的hive-site.xml文件无法正确使用，而是使用默认值。为了显式设置hive conf目录，可以在执行hive命令之前使用以下环境变量

export HIVE_CONF_DIR=<PATH-TO-CONF-DIR>  

(应指定包含hive-site.xml的目录)

为了将远程mysql配置为配置单元存储，首先必须在远程mysql(元存储数据库)中创建具有足够特权的数据库。最初，数据库将为空，因此，如果数据库为空，则将以下属性设置为true会自动在远程数据库中创建元存储架构

<property>
    <name>datanucleus.autoCreateSchema</name>
    <value>true</value>
</property>

如果问题仍然存在，请使用 --config选项启动配置单元，如下所示

hive --config <PATH-TO-CONF-DIR>