eclipse - 无法从Sparksql连接Hive Metastore-6ren

eclipse - 无法从Sparksql连接Hive Metastore

转载作者：行者123 更新时间：2023-12-02 21:09:38

30

4

This question already has answers here:

How to connect Spark SQL to remote Hive metastore (via thrift protocol) with no hive-site.xml?

(8个答案)

在8个月前关闭。

hive .14
Spark 1.6
试图从实用的 Angular 连接 hive 表。我已经将hive-site.xml放在spark conf文件夹中。但是，当我运行此代码时，每次将其连接到底层配置单元metastore即Derby。我尝试了很多次，但是在任何地方我都建议将hive-site.xml放到spark cofiguration文件夹中，我已经做了。请有人给我建议解决方案。下面是我的代码

仅供引用:我现有的配置单元正在使用MYSQL作为元存储。

我直接从eclipse运行此代码，而不使用spark-submit实用程序。

package org.scala.spark

import org.apache.spark.SparkContext
import org.apache.spark.SparkConf
import org.apache.spark.sql.hive.HiveContext

object HiveToHdfs {

def main(args: Array[String]) 
  {

    val conf=new SparkConf().setAppName("HDFS to Local").setMaster("local")
    val sc=new SparkContext(conf)  
    val hiveContext=new org.apache.spark.sql.hive.HiveContext(sc)
    import hiveContext.implicits._
    hiveContext.sql("load data local inpath '/home/cloudera/Documents/emp_table.txt' into table employee")
    sc.stop()
  }
}

以下是我的 eclipse 错误日志:

16/11/18 22:09:03 INFO Datastore: The class "org.apache.hadoop.hive.metastore.model.MFieldSchema" is tagged as "embedded-only" so does not have its own datastore table.
16/11/18 22:09:03 INFO Datastore: The class "org.apache.hadoop.hive.metastore.model.MOrder" is tagged as "embedded-only" so does not have its own datastore table.
16/11/18 22:09:06 INFO Datastore: The class "org.apache.hadoop.hive.metastore.model.MFieldSchema" is tagged as "embedded-only" so does not have its own datastore table.
16/11/18 22:09:06 INFO Datastore: The class "org.apache.hadoop.hive.metastore.model.MOrder" is tagged as "embedded-only" so does not have its own datastore table.
**16/11/18 22:09:06 INFO MetaStoreDirectSql: Using direct SQL, underlying DB is DERBY**
16/11/18 22:09:06 INFO ObjectStore: Initialized ObjectStore
16/11/18 22:09:06 WARN ObjectStore: Version information not found in metastore. hive.metastore.schema.verification is not enabled so recording the schema version 1.2.0
16/11/18 22:09:06 WARN ObjectStore: Failed to get database default, returning NoSuchObjectException
16/11/18 22:09:07 INFO HiveMetaStore: Added admin role in metastore
16/11/18 22:09:07 INFO HiveMetaStore: Added public role in metastore
16/11/18 22:09:07 INFO HiveMetaStore: No user is added in admin role, since config is empty
16/11/18 22:09:07 INFO HiveMetaStore: 0: get_all_databases
16/11/18 22:09:07 INFO audit: ugi=cloudera  ip=unknown-ip-addr  cmd=get_all_databases   
16/11/18 22:09:07 INFO HiveMetaStore: 0: get_functions: db=default pat=*
16/11/18 22:09:07 INFO audit: ugi=cloudera  ip=unknown-ip-addr  cmd=get_functions: db=default pat=* 
16/11/18 22:09:07 INFO Datastore: The class "org.apache.hadoop.hive.metastore.model.MResourceUri" is tagged as "embedded-only" so does not have its own datastore table.
Exception in thread "main" java.lang.RuntimeException: java.lang.RuntimeException: The root scratch dir: /tmp/hive on HDFS should be writable. Current permissions are: rwx------
    at org.apache.hadoop.hive.ql.session.SessionState.start(SessionState.java:522)
    at org.apache.spark.sql.hive.client.ClientWrapper.<init>(ClientWrapper.scala:194)
    at org.apache.spark.sql.hive.client.IsolatedClientLoader.createClient(IsolatedClientLoader.scala:238)
    at org.apache.spark.sql.hive.HiveContext.executionHive$lzycompute(HiveContext.scala:218)
    at org.apache.spark.sql.hive.HiveContext.executionHive(HiveContext.scala:208)
    at org.apache.spark.sql.hive.HiveContext.functionRegistry$lzycompute(HiveContext.scala:462)
    at org.apache.spark.sql.hive.HiveContext.functionRegistry(HiveContext.scala:461)
    at org.apache.spark.sql.UDFRegistration.<init>(UDFRegistration.scala:40)
    at org.apache.spark.sql.SQLContext.<init>(SQLContext.scala:330)
    at org.apache.spark.sql.hive.HiveContext.<init>(HiveContext.scala:90)
    at org.apache.spark.sql.hive.HiveContext.<init>(HiveContext.scala:101)
    at org.scala.spark.HiveToHdfs$.main(HiveToHdfs.scala:15)
    at org.scala.spark.HiveToHdfs.main(HiveToHdfs.scala)
Caused by: java.lang.RuntimeException: The root scratch dir: /tmp/hive on HDFS should be writable. Current permissions are: rwx------
    at org.apache.hadoop.hive.ql.session.SessionState.createRootHDFSDir(SessionState.java:612)
    at org.apache.hadoop.hive.ql.session.SessionState.createSessionDirs(SessionState.java:554)
    at org.apache.hadoop.hive.ql.session.SessionState.start(SessionState.java:508)
    ... 12 more
16/11/18 22:09:07 INFO SparkContext: Invoking stop() from shutdown hook

请让我知道是否还需要其他信息来纠正它。

最佳答案

检查此链接-> https://issues.apache.org/jira/browse/SPARK-15118
metastore可能正在使用mysql db

上面的错误来自

  <property>
    <name>hive.exec.scratchdir</name>
    <value>/tmp/hive</value>
    <description>HDFS root scratch dir for Hive jobs which gets created with write all (733) permission. For each connecting user, an HDFS scratch dir: ${hive.exec.scratchdir}/&lt;username&gt; is created, with ${hive.scratch.dir.permission}.</description>
  </property>

授予/ tmp / hive的权限

关于eclipse - 无法从Sparksql连接Hive Metastore ，我们在Stack Overflow上找到一个类似的问题： https://stackoverflow.com/questions/40689846/

上一篇：docker - 如何能够在Docker镜像内的文件中写入？

下一篇：docker - 尝试将图像转换为容器时，为什么会出现 'docker: invalid reference format'？

sorting - Hadoop MapReduce : return sorted list of words in a text file

hadoop - Spark分类数据摘要统计

hadoop - hadoop 集群所有数据节点上的 Apache DrillBit 服务

scala - 将 UTC unix 时间转换为同一时区的时间戳

hadoop - spark-submit --proxy-user 在 yarn 集群模式下不工作

java - 在 Eclipse IDE 中使用 Java 中的 IO 流时文件将位于何处？

java - 在 eclipse 中执行查找和插入

apache-spark - Spark Streaming 中的 groupby 理想策略

android - Eclipse Android - list 中的解析器异常

30

4

0

文章推荐： java - 设置带有输入拆分的映射器的Hadoop数量不起作用

文章推荐： docker - 如何能够在Docker镜像内的文件中写入？

文章推荐： java - Hadoop 2.7.3中的HTrace

apache-spark - SparkSQL - 一些分区出现在 HiveServer2 但不是 SparkSQL
Hive 外部表指向 S3 上的文件，ddl 包括按 eod 子句分区。一个文件夹下有 5 个子文件夹，每个子文件夹下面都有一个文件，用于不同的 partition_date。即 eod=201806
163、SparkSQL – DataFrames
SparkSQL / DataFrames HBase-Spark连接器（在HBase-Spark模块中）利用Spark-1.2.0中引入的DataSource API （SPARK-3247），弥
sql - SparkSQL 错误表未找到
我将 RDD[myClass] 转换为数据帧，然后将其注册为 SQL表 my_rdd.toDF().registerTempTable("my_rdd") 该表是可调用的，可以使用以下命令进行演示 %
sql - SparkSQL - 滞后函数？
我在这看到 DataBricks post ，SparkSql 中支持窗口函数，特别是我正在尝试使用 lag() 窗口函数。我有几行信用卡交易，我已经对它们进行了排序，现在我想遍历这些行，并为每一行
hadoop - 无法连接到 sparkSQL
我正在为 hive 使用远程 mysql 元存储。当我运行 hive 客户端时，它运行完美。但是当我尝试通过 spark-shell 或 spark-submit 使用 spark-sql 时，我无法
mysql - SparkSQL 连接问题
我有一个 Spark 作业，它正在将数据从 CSV 文件加载到 MySQL 数据库中。一切正常，但最近我注意到 Spark 在插入阶段打开了许多连接(300 多个连接)。感觉就像每个插入语句都打开一
apache-spark - SparkSQL 中的惰性求值
这段代码来自 Spark Programming Guide , # The result of loading a parquet file is also a DataFrame. parquet
scala - SparkSQL Dataframe 函数是否爆炸保留顺序？
我有一个 Scala spark DataFrame: df.select($"row_id", $"array_of_data").show +----------+----------------
scala - SparkSQL 函数需要类型为 Decimal
我设计了以下函数来处理任何数字类型的数组: def array_sum[T](item:Traversable[T])(implicit n:Numeric[T]) = item.sum // Reg
apache-spark - SparkSQL 列查询不显示列内容？
我通过 df.saveAsTable 创建了一个持久表当我运行以下查询时，我会收到这些结果 spark.sql("""SELECT * FROM mytable """).show() 我可以查看
apache-spark - sparksql 删除配置单元表
我想通过 sparksql 删除一个配置单元表。在安装了 hadoop 2.6、hive 2.0、spark 1.6 和 spark 2.0 的集群中。我在两个版本的 pyspark shell 和
pyspark - 计算 SPARKSQL 中重复行的数量
我有一个要求，我需要计算 SparkSQL 中 Hive 表的重复行数。 from pyspark import SparkContext, SparkConf from pyspark.sql im
postgresql - SparkSQL PostgresQL 数据框分区
我有一个连接到 Postgres 数据库的 SparkSQL 的非常简单的设置，我正在尝试从一个表中获取一个 DataFrame，该 DataFrame 具有 X 个分区(假设为 2)。代码如下: M
hadoop - SparkSql 中的存储过程/函数
有什么方法可以在 sparksql 中实现存储过程或函数等 sql 功能？我知道 hbase 中的 hpl sql 和协处理器。但是想知道 spark 中是否有类似的东西。最佳答案您可以考虑使用
python - Pyspark sparkSql 问题
我正在使用 cloudera vm 10.0，spark 版本为 1.6。登录 pyspark 控制台后，我正在尝试以下语句从配置单元中获取数据 sqlContext.sql("select * f
apache-spark-sql - SparkSQL - 相关标量子查询只能包含相等谓词
我想用 Spark SQL 2.0 执行以下查询 SELECT a.id as id, (SELECT SUM(b.points) FROM tableB b WHERE b.id = a.i
apache-spark - SparkSQL DataFrame 跨分区排序
我正在使用 spark sql 对我的数据集运行查询。查询的结果很小，但仍然是分区的。我想合并生成的 DataFrame 并按列对行进行排序。我试过 DataFrame result = spark
apache-spark - HBase 表上的 SparkSQL
任何人都直接在 HBase 表上使用 SparkSQL，就像在 Hive 表上使用 SparkSQL。我是spark新手。请指导我如何连接hbase和spark。如何查询hbase表。最佳答案 A
amazon-s3 - 在简单的 SparkSQL 查询中未修剪分区
我正在尝试从 SparkSQL 表(S3 中的 Parquet )中有效地选择单个分区。但是，我看到 Spark 打开表中所有 Parquet 文件的证据，而不仅仅是那些通过过滤器的文件。对于具有大量
apache-spark - SparkSQL 和 UDT
我尝试使用 SparkSQL (v.1.3.0) 访问 PostgreSQL 数据库。在这个数据库中，我有一个表 CREATE TABLE test ( id bigint, values dou

首页

博学

6Ren·AI

商城

eclipse - 无法从Sparksql连接Hive Metastore