scala - 在 spark 1.6 中将 csv 读取为数据框

Question

我有 Spark 1.6 并尝试读取 csv(或 tsv)文件作为数据帧。以下是我采取的步骤:

scala>  val sqlContext= new org.apache.spark.sql.SQLContext(sc)
scala> import sqlContext.implicits._
scala> val df = sqlContext.read
scala> .format("com.databricks.spark.csv")
scala> .option("header", "true")
scala.option("inferSchema", "true")
scala> .load("data.csv")
scala> df.show()

错误:

<console>:35: error: value show is not a member of org.apache.spark.sql.DataFrameReader df.show()

最后一个命令应该显示数据帧的前几行，但我收到了错误消息。任何帮助将不胜感激。

Answer 1

看起来你的函数没有正确链接在一起，它试图在 val df 上运行“show()”，这是对 DataFrameReader 类的引用。如果我运行以下命令，我可以重现您的错误:

val df = sqlContext.read
df.show()

如果你重构代码，它会工作:

val df = sqlContext.read.format("com.databricks.spark.csv").option("header", "true").option("inferSchema", "true").load("data.csv")
df.show()