scala - 如何在scala中将元组列表转换为数据框

Question

我有一个字符串元组列表:List[(String, String, String)]。

如何使用 Scala 将其转换为数据框？

Answer 1

您创建一个 SparkSession(从 Spark 2.0.0 开始)或一个 SQLContext，然后您可以使用隐式的 toDF() :

Spark 1.6 或更早版本:

val sc = new SparkContext("local", "test")
val sqlContext = new SQLContext(sc)
import sqlContext.implicits._

val df: DataFrame = list.toDF() // with default column names: _1, _2, _3
val dfWithColNames: DataFrame = list.toDF("col1", "col2", "col3")

Spark 2.0.0 或更新版本:

val sparkSession: SparkSession = SparkSession.builder().appName("test").master("local").getOrCreate()
import sparkSession.implicits._

val df: DataFrame = list.toDF() // with default column names: _1, _2, _3
val dfWithColNames: DataFrame = list.toDF("col1", "col2", "col3")