apache-spark - 从案例类生成 Spark StructType/Schema

Question

如果我想从case class创建一个StructType(即DataFrame.schema)，有没有办法做到不创建 DataFrame 吗？我可以轻松做到:

case class TestCase(id: Long)
val schema = Seq[TestCase]().toDF.schema

但是当我想要的只是架构时，实际创建一个 DataFrame 似乎有点过分了。

(如果您好奇，问题背后的原因是我正在定义一个 UserDefinedAggregateFunction，为此，您需要重写几个返回 StructTypes 和我使用案例类。)

Answer 1

你也可以用同样的方法SQLContext.createDataFrame是吗:

import org.apache.spark.sql.catalyst.ScalaReflection
val schema = ScalaReflection.schemaFor[TestCase].dataType.asInstanceOf[StructType]