scala - Apache Spark : How do I convert a Spark DataFrame to a RDD with type RDD[(Type1, Type2，...)]？

Question

例如，假设我有DataFrame:

var myDF = sc.parallelize(Seq(("one",1),("two",2),("three",3))).toDF("a", "b")

我可以使用 map 将其转换为 RDD[(String, Int)]:

var myRDD = myDF.map(r => (r(0).asInstanceOf[String], r(1).asInstanceOf[Int]))

是否有更好的方法可以执行此操作，也许使用DF模式？

Answer 1

在Row上使用模式匹配:

import org.apache.spark.sql.Row

myDF.map{case Row(a: String, b: Int) => (a, b)}

在Spark 1.6+中，您可以使用 Dataset，如下所示:

myDF.as[(String, Int)].rdd