gpt4 book ai didi

apache-spark - PySpark:DataFrame-将结构转换为数组

转载 作者:行者123 更新时间:2023-12-02 07:20:23 27 4
gpt4 key购买 nike

我有以下结构的数据框:

root
|-- index: long (nullable = true)
|-- text: string (nullable = true)
|-- topicDistribution: struct (nullable = true)
| |-- type: long (nullable = true)
| |-- values: array (nullable = true)
| | |-- element: double (containsNull = true)
|-- wiki_index: string (nullable = true)

我需要将其更改为:
root
|-- index: long (nullable = true)
|-- text: string (nullable = true)
|-- topicDistribution: array (nullable = true)
| |-- element: double (containsNull = true)
|-- wiki_index: string (nullable = true)

请问我该怎么做?

非常感谢。

最佳答案

我想你在找

df.withColumn("topicDistribution", col("topicDistribution").getField("values"))

关于apache-spark - PySpark:DataFrame-将结构转换为数组,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/47616606/

27 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com