gpt4 book ai didi

mysql - 配置单元.HiveImport : FAILED: SemanticException [Error 10072]: Database does not exist:

转载 作者:可可西里 更新时间:2023-11-01 15:05:36 24 4
gpt4 key购买 nike

我正在尝试将 MySQL 数据库导入 Hive 以根据 Blog 分析大型 MySQL 数据有几种方法可以做到这一点

  1. 非实时:Sqoop
  2. 实时:MySQL 的 Hadoop 应用程序

所以我决定采用“非实时”方法,并且我设置了具有 4 个节点的 Hadoop 集群、Sqoop 和 Hive,它们在以下版本中运行良好

名称 版本

Apache Hadoop 2.6.0

Apache Hive hive-0.14.0

Apache Sqoop sqoop-1.4.5.bin__hadoop-2.0.4-alpha

现在,当我尝试使用以下命令导入数据时

导入命令

sqoop-import-all-tables --verbose --connect jdbc:mysql://X.X.X.X/edgeowt --username root -P --hive-import --warehouse-dir /user/hive/warehouse --hive-database edgeowt.db  --hive-overwrite

然后我得到以下错误

错误

INFO hive.HiveImport: FAILED: SemanticException [Error 10072]: Database does not exist: edgeowt.db
15/04/16 13:32:09 ERROR tool.ImportAllTablesTool: Encountered IOException running import job: java.io.IOException: Hive exited with status 88

我使用 Hiveserver2 登录并检查数据库,但我可以看到给定的数据库

$HIVE_HOME/bin>beeline
beeline> !connect jdbc:hive2://localhost:10000 scott tiger org.apache.hive.jdbc.HiveDriver
0: jdbc:hive2://localhost:10000> show databases;
+----------------+--+
| database_name |
+----------------+--+
| default |
| edgeowt |
+----------------+--+

查看 HDFS 文件系统 Web 界面后,我意识到 DB 的所有者不同

Permission  Owner   Group       Size    Replication Block Size  Name
drwxr-xr-x hduser supergroup 0 B 0 0 B candidate
drwxr-xr-x scott supergroup 0 B 0 0 B edgeowt.db
drwxr-xr-x scott supergroup 0 B 0 0 B hd_temperature

因为我正在尝试使用 hduser 导入数据,并且数据库是使用 scott 用户创建的。我尝试使用以下命令在 edgeowt.db 上向 hduser 授予 ALL 特权

0: jdbc:hive2://localhost:10000>GRANT ALL ON DATABASE edgeowt TO USER hduser;

并检查

0: jdbc:hive2://localhost:10000> SHOW GRANT ON DATABASE edgeowt;
+-----------+--------+------------+---------+-----------------+-----------------+------------+---------------+----------------+----------+--+
| database | table | partition | column | principal_name | principal_type | privilege | grant_option | grant_time | grantor |
+-----------+--------+------------+---------+-----------------+-----------------+------------+---------------+----------------+----------+--+
| edgeowt | | | | admin | ROLE | ALL | false | 1429170366000 | scott |
| edgeowt | | | | hduser | USER | ALL | false | 1429170906000 | scott |
+-----------+--------+------------+---------+-----------------+-----------------+------------+---------------+----------------+----------+--+

但是无法解决这个错误,那么我该如何解决这个问题呢?或解决此问题的任何一点都会有所帮助。

~/.bashrc

# Set JAVA_HOME (we will also configure JAVA_HOME directly for Hadoop later on)
export JAVA_HOME=/usr/lib/jvm/java-7-oracle
# Set Hadoop-related environment variables
export HADOOP_INSTALL=/opt/hadoop
export PATH=$PATH:$HADOOP_INSTALL/bin
export PATH=$PATH:$HADOOP_INSTALL/sbin
export HADOOP_MAPRED_HOME=$HADOOP_INSTALL
export HADOOP_COMMON_HOME=$HADOOP_INSTALL
export HADOOP_HDFS_HOME=$HADOOP_INSTALL
export YARN_HOME=$HADOOP_INSTALL
export HADOOP_HOME=$HADOOP_INSTALL

# Set hive home
export HIVE_HOME=/opt/hive
export PATH=$PATH:$HIVE_HOME/bin

# Set HCatlog home
export HCAT_HOME=$HIVE_HOME/hcatalog
export PATH=$PATH:$HCAT_HOME/bin

# Set Sqoop home
export HADOOP_OPTS="$HADOOP_OPTS -Djava.library.path=$HADOOP_HOME/lib/native"
export SQOOP_HOME=/opt/sqoop
export SQOOP_CONF_DIR="$SQOOP_HOME/conf"
export SQOOP_CLASSPATH="$SQOOP_CONF_DIR"
export PATH=$PATH:$SQOOP_HOME/bin

编辑

尝试了以下命令仍然有同样的错误

sqoop-import-all-tables --verbose --connect jdbc:mysql://X.X.X.X/edgeowt --username root -P --hive-import --warehouse-dir /user/hive/warehouse --hive-database edgeowt --hive-overwrite

最佳答案

最后我在阅读关于同一问题的论坛讨论时自己得到了答案 here

问题出在 Hive Metastore 配置上,Hive Metastore 配置分为三种类型

  1. 嵌入式 Metastore(默认 Metastore 部署模式)。
  2. 本地 Metastore。
  3. 远程 Metastore。

我的 Hive Metastore 配置是默认配置。如 Configuring the Hive Metastore 的 cloudera 文档中所述,我将 Metastore 配置从 Embedded (Default) 更改为 Remote Metastore,它开始为我工作。

有关 Metastore 配置的更多信息,请使用以下 Cloudera 文档。

Configuring the Hive Metastore

Sqoop 命令

sqoop-import-all-tables --connect jdbc:mysql://X.X.X.X/edgeowt --username root -P --hive-import --hive-database edgeowt --hive-overwrite -m 4

关于mysql - 配置单元.HiveImport : FAILED: SemanticException [Error 10072]: Database does not exist:,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/29670830/

24 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com