scala - toDF 的值不是成员 org.apache.spark.rdd.RDD

Question

def main(args: Array[String]) {
    val conf = new SparkConf().setMaster("local").setAppName("test")
    val sc = new SparkContext(conf)
    //require spark sql environment
    val sqlContext = new org.apache.spark.sql.SQLContext(sc)
    import sqlContext.implicits._
    val df1 = sc.makeRDD(1 to 5).map(i => (i, i * 2)).toDF("single", "double")
    sc.stop()
  }

我写了“import sqlContext.implicits._”；然而它仍然不起作用。它就在spark-shell 中。为什么在这种情况下是不对的呢？我见过许多其他将 rdd 转换为数据框的方法，但我的大部分代码都是写成 toDF() 的。如何使 toDF 工作？错误:

Error:(25, 55) value toDF is not a member of org.apache.spark.rdd.RDD[(Int, Int)]
val df1 = sc.makeRDD(1 to 5).map(i => (i, i * 2)).toDF("single", "double")
                                                  ^

Answer 1

Spark 1.3版本中添加了toDF()，您必须使用旧版本(低于 1.3)的 Spark，这就是您收到此错误的原因。
要解决此问题，请使用 Spark 1.3 或更高版本。