scala - 如何在不使用案例类但使用 StructType 的情况下创建数据集(不是 DataFrame)？

Question

如何使用 StructType 创建数据集？

我们可以如下创建一个Dataset:

case class Person(name: String, age: Int)

val personDS = Seq(Person("Max", 33), Person("Adam", 32), Person("Muller", 
62)).toDS()
personDS.show()

有没有办法在不使用案例类的情况下创建 Dataset？

我想使用案例类和 StructType 创建一个 DataFrame。

Answer 1

如果您知道如何创建 DataFrame，那么您现在已经知道如何创建 Dataset :)

DataFrame = Dataset[Row].

这是什么意思？试试:

val df : DataFrame = spark.createDataFrame(...) // with StructType
import org.apache.spark.sql._
val ds : Dataset[Row] = df; // no error, as DataFrame is only a type alias of Dataset[Row]