scala - 如何将嵌套列添加到 DataFrame

Question

我有一个具有以下架构的数据框 df:

root
 |-- city_name: string (nullable = true)
 |-- person: struct (nullable = true)
 |    |-- age: long (nullable = true)
 |    |-- name: string (nullable = true)

我想做的是添加一个嵌套列，比如 car_brand 到我的 person 结构中。我该怎么做？

预期的最终架构如下所示:

root
 |-- city_name: string (nullable = true)
 |-- person: struct (nullable = true)
 |    |-- age: long (nullable = true)
 |    |-- name: string (nullable = true)
 |    |-- car_brand: string (nullable = true)

Answer 1

您可以解压结构并将其添加到新结构中，同时包括新列。例如，将“bmw”添加到数据框中的所有人可以这样完成:

df.withColumn("person", struct($"person.*", lit("bmw").as("car_brand")))