scala - SparkSQL 数据帧错误 : value show is not a member of org. apache.spark.sql.DataFrameReader

Question

我是 Spark/Scala/Dataframes 的新手。我正在使用 Scala 2.10.5、Spark 1.6.0。我正在尝试加载一个 csv 文件，然后从中创建一个数据框。使用 scala shell，我按以下顺序执行以下命令。执行第 6 行后，我收到一条错误消息:

错误:值显示不是 org.apache.spark.sql.DataFrameReader 的成员

有人可以告诉我我可能遗漏了什么吗？我知道如果我使用 REPL(shell)我不需要导入 sparkcontext，所以 sc 会自动创建，但是有什么想法我做错了吗？

1.导入org.apache.spark.sql.SQLContext

1. 导入 sqlContext.implicits._

2. val sqlContext = new SQLContext(sc)

3. val csvfile = "hdfs 中的 path_to_filename...."

4. val df = sqlContext.read.format(csvfile).option("header", "true").option("inferSchema", "true")

5. df.show()

Answer 1

试试这个:

val df = sqlContext.read.option("header", "true").option("inferSchema", "true").csv(csvfile)

sqlContext.read 给你一个DataFrameReader，option 和format 都设置一些选项给你返回一个 DataFrameReader。您需要先调用为您提供 DataFrame(如 csv)的方法之一，然后才能使用它执行 show 之类的操作。

参见 https://spark.apache.org/docs/latest/api/scala/index.html#org.apache.spark.sql.DataFrameReader了解更多信息。