gpt4 book ai didi

scala - 实例化 'org.apache.spark.sql.hive.HiveSessionState'时出错:在Linux服务器上

转载 作者:行者123 更新时间:2023-12-02 20:47:41 25 4
gpt4 key购买 nike

我有一个Scala Spark应用程序,正在尝试使用Shell脚本在Linux服务器上运行。我收到错误消息:

Exception in thread "main" java.lang.IllegalArgumentException: Error while instantiating 'org.apache.spark.sql.hive.HiveSessionState':



但是,我不明白哪里出了问题。我这样做是为了实例化Spark:
val sparkConf = new SparkConf().setAppName("HDFStoES").setMaster("local")

val spark: SparkSession = SparkSession.builder.enableHiveSupport().config(sparkConf).getOrCreate()

我是否正确执行此操作,如果是这样,可能是什么错误?

最佳答案

sparkSession = SparkSession.builder().appName("Test App").master("local[*])
.config("hive.metastore.warehouse.dir", hiveWareHouseDir)
.config("spark.sql.warehouse.dir", hiveWareHouseDir).enableHiveSupport().getOrCreate();

在以上使用中,您需要指定 "hive.metastore.warehouse.dir"目录以在spark session 中启用配置单元支持。

关于scala - 实例化 'org.apache.spark.sql.hive.HiveSessionState'时出错:在Linux服务器上,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/47256676/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com