scala - 在 Spark 中分解结构列时出错

Question

我有一个数据框，其架构如下所示:

event: struct (nullable = true)
|    | event_category: string (nullable = true)
|    | event_name: string (nullable = true)
|    | properties: struct (nullable = true)
|    |    | ErrorCode: string (nullable = true)
|    |    | ErrorDescription: string (nullable = true)

我正在尝试引爆 struct栏目 properties使用以下代码:

df_json.withColumn("event_properties", explode($"event.properties"))

但它抛出以下异常:

cannot resolve 'explode(`event`.`properties`)' due to data type mismatch: 
input to function explode should be array or map type, 
not StructType(StructField(IDFA,StringType,true),

怎么炸柱子 properties ?

Answer 1

您可以使用 explode在 array或 map列，因此您需要转换 properties struct至 array然后应用 explode功能如下

import org.apache.spark.sql.functions._
df_json.withColumn("event_properties", explode(array($"event.properties.*"))).show(false)

你应该有你想要的要求