scala - Spark Scala，如何检查数据框中是否存在嵌套列

Question

我正在从具有嵌套列 ( struct ) 的 Parquet 文件中读取数据框。
如何检查嵌套列是否存在？

可能是这样的

+----------------------+
| column1              |
+----------------------+
|{a_id:[1], b_id:[1,2]}|
+----------------------+

或者像这样

+---------------------+
| column1             |
+---------------------+
|{a_id:[3,5]}         |
+---------------------+

我知道，如何检查顶级列是否存在，如这里的回答: How do I detect if a Spark DataFrame has a column :

df.schema.fieldNames.contains("column_name")

但是如何检查嵌套列？

Answer 1

您可以将嵌套字段的架构作为结构获取，然后检查您的字段是否存在于它的字段名称中:

val index = df.schema.fieldIndex("column1")
val is_b_id_present = df.schema(index).dataType.asInstanceOf[StructType]
                          .fieldNames.contains("b_id")