gpt4 book ai didi

hive - Hadoop Metastore 不会初始化

转载 作者:行者123 更新时间:2023-12-04 17:17:06 29 4
gpt4 key购买 nike

序言:我是 hadoop/hive 的新手。已经安装了独立的 hadoop,现在正在尝试让 hive 工作。我不断收到有关初始化 Metastore 的错误,似乎无法弄清楚如何解决。 (hadoop 2.7.2 和 hive 2.0)

HADOOP_HOME 和 HIVE_HOME 已设置

ubuntu15-laptop: ~ $>echo $HADOOP_HOME
/usr/hadoop/hadoop-2.7.2

ubuntu15-laptop: ~ $>echo $HIVE_HOME
/usr/hive

hdfs 正在工作
ubuntu15-laptop: ~ $>hadoop fs -ls /
Found 2 items
drwxrwxr-x - testuser supergroup 0 2016-04-13 21:37 /tmp
drwxrwxr-x - testuser supergroup 0 2016-04-13 21:38 /user

ubuntu15-laptop: ~ $>hadoop fs -ls /user
Found 1 items
drwxrwxr-x - testuser supergroup 0 2016-04-13 21:38 /user/hive

ubuntu15-laptop: ~ $>hadoop fs -ls /user/hive
Found 1 items
drwxrwxr-x - testuser supergroup 0 2016-04-13 21:38 /user/hive/warehouse

ubuntu15-laptop: ~ $>groups
testuser adm cdrom sudo dip plugdev lpadmin sambashare

hive 不工作。说我需要初始化我的 Metastore
ubuntu15-laptop: ~ $>hive

Logging initialized using configuration in
jar:file:/usr/hive/lib/hive-common-2.0.0.jar!/hive-log4j2.properties
Exception in thread "main" java.lang.RuntimeException: Hive metastore database
is not initialized. Please use schematool (e.g. ./schematool -initSchema
-dbType ...) to create the schema. If needed, don't forget to include the
option to auto-create the underlying database in your JDBC connection string
(e.g. ?createDatabaseIfNotExist=true for mysql)

所以我尝试使用 postgres 初始化它 - 但 schematool 尝试使用 derby
ubuntu15-laptop: ~ $>schematool -initSchema -dbType postgres
Metastore connection URL: jdbc:derby:;databaseName=metastore_db;create=true
Metastore Connection Driver : org.apache.derby.jdbc.EmbeddedDriver
Metastore connection User: APP
Starting metastore schema initialization to 2.0.0
Initialization script hive-schema-2.0.0.postgres.sql
Error: Syntax error: Encountered "statement_timeout" at line 1, column 5.
(state=42X01,code=30000)
org.apache.hadoop.hive.metastore.HiveMetaException: Schema initialization
FAILED! Metastore state would be inconsistent !!
*** schemaTool failed ***

所以我将 hive-site.xml 更改为使用 postgres 驱动程序等,但因为我没有
安装了驱动,失败了
ubuntu15-laptop: ~ $>cp /usr/hive/conf/hive-site.xml.templ /usr/hive/conf/hive-site.xml
ubuntu15-laptop: ~ $>schematool -initSchema -dbType postgres
Metastore connection URL: jdbc:postgresql://localhost:5432/hivedb
Metastore Connection Driver : org.postgresql.Driver
Metastore connection User: 123456
org.apache.hadoop.hive.metastore.HiveMetaException: Failed to load driver
*** schemaTool failed ***

所以我尝试使用 Derby
首先再次将 hive-site.xml 移开,因此默认为 derby
ubuntu15-laptop: ~ $>mv /usr/hive/conf/hive-site.xml /usr/hive/conf/hive-site.xml.templ

然后我尝试用 Derby 再次初始化,但它似乎已经是
根据错误“错误:FUNCTION‘NUCLEUS_ASCII’已经存在”进行初始化
ubuntu15-laptop: ~ $>schematool -initSchema -dbType derby
Metastore connection URL: jdbc:derby:;databaseName=metastore_db;create=true
Metastore Connection Driver : org.apache.derby.jdbc.EmbeddedDriver
Metastore connection User: APP
Starting metastore schema initialization to 2.0.0
Initialization script hive-schema-2.0.0.derby.sql
Error: FUNCTION 'NUCLEUS_ASCII' already exists. (state=X0Y68,code=30000)
org.apache.hadoop.hive.metastore.HiveMetaException: Schema initialization
FAILED! Metastore state would be inconsistent !!
*** schemaTool failed ***

我已经在这两天了。任何帮助将不胜感激。

最佳答案

所以..

这就是发生的事情。

安装 hive 后,我做的第一件事是运行 hive,它试图创建/初始化 metastore_db,但显然没有做对。在最初的运行中,我收到了这个错误:

Exception in thread "main" java.lang.RuntimeException: Hive metastore database is not initialized. Please use schematool (e.g. ./schematool -initSchema -dbType ...) to create the schema. If needed, don't forget to include the option to auto-create the underlying database in your JDBC connection string (e.g. ?createDatabaseIfNotExist=true for mysql)

运行 hive,即使它失败了,也会在我运行 hive 的目录中创建一个 metastore_db 目录:
ubuntu15-laptop: ~ $>ls -l |grep meta
drwxrwxr-x 5 testuser testuser 4096 Apr 14 12:44 metastore_db

所以当我尝试运行时
ubuntu15-laptop: ~ $>schematool -initSchema -dbType derby

Metastore 已经存在,但不是完整的形式。

答案是:
  • 在你第一次运行 hive 之前,运行

    schematool -initSchema -dbType derby
  • 如果您已经运行 hive 然后尝试 initSchema 并且它失败了:

    mv metastore_db metastore_db.tmp
  • 重新运行

    schematool -initSchema -dbType derby
  • 再次运行 hive

  • **另外注意:如果你改变目录,上面创建的 metastore_db 将不会被找到!我确信有一个我还不知道的充分理由,因为我今天第一次尝试使用 hive。啊哈,这是关于此的信息: metastore_db created wherever I run Hive

    关于hive - Hadoop Metastore 不会初始化,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/36627597/

    29 4 0
    Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
    广告合作:1813099741@qq.com 6ren.com