gpt4 book ai didi

scala - Spark 2.0缺少Spark隐式

转载 作者:行者123 更新时间:2023-12-03 09:14:35 24 4
gpt4 key购买 nike

我发现使用Spark 2.0,可以将行的数据框转换为案例类的数据框。当我尝试这样做时,我收到一条消息,提示要导入spark.implicits._。我遇到的问题是Intellij无法将其识别为有效的导入语句,我想知道它是否已移动且消息尚未更新,或者我的构 build 置中没有正确的软件包,在这里是我的build.sbt

libraryDependencies ++= Seq(
"org.mongodb.spark" % "mongo-spark-connector_2.11" % "2.0.0-rc0",
"org.apache.spark" % "spark-core_2.11" % "2.0.0",
"org.apache.spark" % "spark-sql_2.11" % "2.0.0"
)

最佳答案

没有名为spark.implicits的软件包。

此处的spark表示SparkSession。如果您位于REPL内,则该 session 已经定义为spark,因此您只需键入:

import spark.implicits._

如果您在代码中的某处定义了自己的 SparkSession,则相应地进行调整:
val mySpark = SparkSession
.builder()
.appName("Spark SQL basic example")
.config("spark.some.config.option", "some-value")
.getOrCreate()

// For implicit conversions like converting RDDs to DataFrames
import mySpark.implicits._

关于scala - Spark 2.0缺少Spark隐式,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/39968707/

24 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com