scala - Spark : Why the StructType merge method is private?

Question

spark.sql.types package 中有一个merge 方法:

private[sql] def merge(that: StructType): StructType

它是私有(private)的有什么特别的原因吗？我想在我的项目中使用它，除了复制代码还有其他方法吗？

Answer 1

我知道已经很晚了，但希望我的回答能对其他人有所帮助:

所以，我发现 StructType.merge() 还没有包含在 spark 版本 > 2.x

但如果您将 Spark 与 Java 结合使用，但在 Scala 中不受支持，您仍然可以使用 StructType.merge()。

使用 Scala 解决 Spark 问题:

val consolidatedSchema = test1Df.schema.++:(test2Df.schema).toSet
val uniqueConsolidatedSchemas = StructType(consolidatedSchema.toSeq)

使用 Java 的 Spark:

StructType consolidatedSchema = test1Df.schema().merge(test2Df.schema());

如果需要，您可以检查使用 Java 和 Scala 以及相同版本的 Spark。