arrays - ScalaTestFailureLocation 预期的 StructField(value1,ArrayType(StringType,true),false) 实际的 StructField(val2,ArrayType(StringType,true),true)

Question

我正在尝试运行一些测试。即

assertDataFrameEquals(etalon, agg)

在 2 个数据帧上。但是得到如下错误

ScalaTestFailureLocation
Expected StructField(value1,ArrayType(StringType,true),false)
Actual   StructField(value2,ArrayType(StringType,true),true)

一个df是从一个列表创建的

val etalon= spark.sparkContext.parallelize(data).toDF()

另一个是从一些输入文件中计算出来的。

如果 value2 是字符串或其他类似类型，我可以这样做

etalon.na.fill()

就可以了。但这不适用于数组。我还能做什么？

Answer 1

尝试下面的代码片段，这里将 agg 数据帧的架构应用于 etalon 数据帧，以便它们的架构保持一致。

var etalon = spark.sparkContext.parallelize(data).toDF()

val newSchema = agg.schema

etalon = spark.createDataFrame(etalon.rdd, newSchema)

assertDataFrameEquals(etalon, agg)