gpt4 book ai didi

apache-spark - 如何在 PySpark 中的数据框列中转换 JSON 字符串?

转载 作者:行者123 更新时间:2023-12-04 05:38:28 25 4
gpt4 key购买 nike

我有一个 pyspark 数据框,如下所示

+--------------------+---+
| _c0|_c1|
+--------------------+---+
|{"object":"F...| 0|
|{"object":"F...| 1|
|{"object":"F...| 2|
|{"object":"E...| 3|
|{"object":"F...| 4|
|{"object":"F...| 5|
|{"object":"F...| 6|
|{"object":"S...| 7|
|{"object":"F...| 8|

专栏 _c0包含字典形式的字符串。
'{"object":"F","time":"2019-07-18T15:08:16.143Z","values":[0.22124142944812775,0.2147877812385559,0.16713131964206696,0.3102800250053406,0.31872493028640747,0.3366488814353943,0.25324496626853943,0.14537988603115082,0.12684473395347595,0.13864757120609283,0.15222792327404022,0.238663449883461,0.22896413505077362,0.237777978181839]}'

如何将上述字符串转换为字典形式并获取每个键值对并将其存储到变量中?我不想把它转换成 Pandas ,因为它很贵。

最佳答案

您应该为 Scala 的 Dataset.withColumn 使用 Spark API 的等价物。和 from_json标准功能。

关于apache-spark - 如何在 PySpark 中的数据框列中转换 JSON 字符串?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/57108654/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com