gpt4 book ai didi

apache-spark - 从 json 模式表示创建 spark 数据帧模式

转载 作者:行者123 更新时间:2023-12-03 12:22:28 25 4
gpt4 key购买 nike

有没有办法将数据帧模式序列化为 json 并稍后反序列化?

用例很简单:
我有一个 json 配置文件,其中包含我需要读取的数据帧的架构。
我希望能够从现有模式(在数据帧中)创建默认配置,并且我希望能够通过从 json 字符串中读取来生成稍后使用的相关模式。

最佳答案

为此有两个步骤:从现有数据帧创建 json 并从之前保存的 json 字符串创建架构。

从现有数据帧创建字符串

    val schema = df.schema
val jsonString = schema.json

从 json 创建模式

    import org.apache.spark.sql.types.{DataType, StructType}
val newSchema = DataType.fromJson(jsonString).asInstanceOf[StructType]

关于apache-spark - 从 json 模式表示创建 spark 数据帧模式,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/40957585/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com