gpt4 book ai didi

scala - sparkSession.sparkContext对于本地Spark集群为null

转载 作者:行者123 更新时间:2023-12-02 22:48:56 26 4
gpt4 key购买 nike

我创建了一个本地Spark集群和一个Spark session ,如下所示

val sparkConf = new SparkConf(true).setAppName("test").setMaster("local[8]")

val sparkSession = SparkSession.builder().config(sparkConf).getOrCreate()

使用它,我还成功创建了Dummy数据帧以在我的测试Scala App中使用
val dummy: DataFrame = sparkSession.createDataFrame(Seq(
("BABY", "videos", "0.5"),
("APPLIANCES AND STORAGE", "audios", "0.6")
).toDF("dept", "type", "weight")

后来我创建了一个对象Item,然后尝试将其写入Elastic Search,如下所示
val elasticItemRDD = sparkSession.sparkContext.makeRDD(Seq(Item))
EsSpark.saveToEs(elasticItemRDD, esIndexNType, Map("es.mapping.id" -> "itemid"))

从我的sparkSession访问sparkContext时,这给了我一个空指针异常。我努力了
sparkSession.createDataset(Seq(Item)).rdd 

这不会给我这个空指针错误,而是其他一些MatchError。我喜欢使我的sparkContext.makeRDD起作用,以便可以写到ElasticSearch。此NullPointerException可能是什么原因?我想念什么吗?
scalaVersion := "2.11.8"
val sparkVersion = "2.2.0"
libraryDependencies ++= Seq(
"org.apache.spark" %% "spark-core" % sparkVersion % "provided",
"org.apache.spark" %% "spark-sql" % sparkVersion % "provided",
"org.apache.spark" % "spark-hive_2.11" % sparkVersion,
"org.elasticsearch" % "elasticsearch-spark-20_2.11" % "5.5.1"
)

最佳答案

问题是SparkContext在我的 map 函数关闭中不可用。它仅适用于驱动程序功能,不适用于 worker 任务。

Spark job is failed due to java.io.NotSerializableException: org.apache.spark.SparkContext

关于scala - sparkSession.sparkContext对于本地Spark集群为null,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/46066044/

26 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com