scala - Encoders.product[of a scala trait].schema in spark

Question

如何根据特征为 Spark 创建模式？考虑一个特征:

trait A{
val name:String
val size:String
}

作为:

Encoders.product[A].schema

给出:

Error:type arguments do not conform to method product's type parameter bounds [T <: Product]

此外，字段的数量将超过案例类参数的限制 > 200

Answer 1

案例类确实支持超过 22 列，请尝试在所有其他类/对象之外创建。如果您需要创建具有大量字段的数据框模式，这应该可行。

val schema: StructType = StructType(
    Array(
      StructField(name = "name", StringType),
      StructField(name = "size", StringType)
    )
 )
val data = Seq(Row("Ramanan","29"))
spark.createDataFrame(spark.sparkContext.parallelize(data),schema).show()