gpt4 book ai didi

java - sparkR:实例化 'org.apache.spark.sql.hive.HiveSessionState' 时出错:

转载 作者:行者123 更新时间:2023-12-01 13:08:50 25 4
gpt4 key购买 nike

当我尝试使用 sparkR 时,我正在努力解决这个问题。

sparkR.session(master = "local[*]", sparkConfig = list(spark.driver.memory = "1g"))
Error in handleErrors(returnStatus, conn) :
java.lang.IllegalArgumentException: Error while instantiating 'org.apache.spark.sql.hive.HiveSessionState':
at org.apache.spark.sql.SparkSession$.org$apache$spark$sql$SparkSession$$reflect(SparkSession.scala:981)
at org.apache.spark.sql.SparkSession.sessionState$lzycompute(SparkSession.scala:110)
at org.apache.spark.sql.SparkSession.sessionState(SparkSession.scala:109)
at org.apache.spark.sql.api.r.SQLUtils$$anonfun$setSparkContextSessionConf$2.apply(SQLUtils.scala:67)
at org.apache.spark.sql.api.r.SQLUtils$$anonfun$setSparkContextSessionConf$2.apply(SQLUtils.scala:66)
at scala.collection.TraversableLike$WithFilter$$anonfun$foreach$1.apply(TraversableLike.scala:733)
at scala.collection.Iterator$class.foreach(Iterator.scala:893)
at scala.collection.AbstractIterator.foreach(Iterator.scala:1336)
at scala.collection.IterableLike$class.foreach(IterableLike.scala:72)
at scala.collection.AbstractIterable.foreach(Iterable.scala:54)
at scala.collection.Traversabl

希望这是一个清晰的解决方案,我是 spark 的新手,对 java scala 一无所知。非常感谢!

最佳答案

我有同样的错误。看起来它与用户权限有关。因此,您有两个选择:

1) 从您拥有必要权限的目录启动 sparkR(先决条件:spark bin 文件夹需要包含在 PATH 环境变量中:export PATH=$SPARK_HOME/bin:$PATH):

cd ~
sparkR

2) 使用 sudo 权限启动 sparkR:

/opt/spark/bin $ sudo ./sparkR

关于java - sparkR:实例化 'org.apache.spark.sql.hive.HiveSessionState' 时出错:,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/43298165/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com