intellij-idea - 为什么 IDEA 找不到 toDS() 和 toDF() 函数？

Question

我的代码在 spark-shell 中运行良好:

scala> case class Person(name:String,age:Int)
defined class Person

scala> val person = Seq(Person("ppopo",23)).toDS()
person: org.apache.spark.sql.Dataset[Person] = [name: string, age: int]

scala> person.show()
+-----+---+
| name|age|
+-----+---+
|ppopo| 23|
+-----+---+

但在 IDEA 中是错误的:



我已经在“spark-2.0.0-bin-hadoop2.7/jars/”中导入了所有的jar，但是还是找不到这个函数。

Answer 1

我发现了问题，在使用 toDS() 之前添加一个依赖项:

val ss = SparkSession.builder().appName("DataSet Test")
  .master("local[*]").getOrCreate()

// This import is needed
import ss.implicits._
val simpleDS = Seq(Person("po",12)).toDS()
simpleDS.show()