python - 展平 Spark DataFrame 中的嵌套数组

Question

我正在从以下位置读取一些 JSON:

{"a": [{"b": {"c": 1, "d": 2}}]}

也就是说，数组项是不必要的嵌套。现在，因为这发生在数组内部，所以 How to flatten a struct in a Spark dataframe? 中给出的答案不要直接申请。

这是解析时数据框的样子:

root
|-- a: array
|    |-- element: struct
|    |    |-- b: struct
|    |    |    |-- c: integer
|    |    |    |-- d: integer

我希望将数据框转换成这样:

root
|-- a: array
|    |-- element: struct
|    |    |-- b_c: integer
|    |    |-- b_d: integer

如何为数组中的列设置别名以有效取消嵌套？

Answer 1

您可以使用转换:

df2 = df.selectExpr("transform(a, x -> struct(x.b.c as b_c, x.b.d as b_d)) as a")