scala - 读取的值不是 org.apache.spark.SparkContext 的成员

Question

scala 的版本是 2.11.8 ； jdk 是 1.8 ； Spark 是 2.0.2

我尝试在 the offical site of spark apache 中运行 LDA 模型的示例，我从以下句子中收到错误消息:

val dataset = spark.read.format("libsvm")
  .load("data/libsvm_data.txt")

错误消息是:

Error:(49, 25) value read is not a member of org.apache.spark.SparkContext val dataset = spark.read.format("libsvm") ^

我不知道如何解决它。

Answer 1

看起来您正在尝试调用 read在 SparkContext , 而不是 SQLContext或 SparkSession :

// New 2.0.+ API: create SparkSession and use it for all purposes:
val session = SparkSession.builder().appName("test").master("local").getOrCreate()
session.read.load("/file") // OK

// Old <= 1.6.* API: create SparkContext, then create a SQLContext for DataFrame API usage:
val sc = new SparkContext("local", "test") // used for RDD operations only
val sqlContext = new SQLContext(sc) // used for DataFrame / DataSet APIs

sqlContext.read.load("/file") // OK
sc.read.load("/file") // NOT OK