gpt4 book ai didi

scala - 如何使用 Scala 在 spark 中漂亮地打印 JSON 数据框?

转载 作者:行者123 更新时间:2023-12-05 06:42:25 25 4
gpt4 key购买 nike

我有一个数据框,我想将其作为有效的 json 写入 json 文件:

我当前的代码如下:

val df: DataFrame = myFun(...)
df.toJSON.saveAsTextFile( "myFile.json" )

输出格式为:

{}{}{}

如何将文件内容组织成有效的 JSON?:

[{},{},{}]

最佳答案

我使用 Spray JSON 的解决方法:

def apply(df: DataFrame): Option[String] = {
val collectedData = df.toJSON.coalesce(1).collect().mkString("\n")
val json = "[" + ("}\n".r replaceAllIn (collectedData, "},\n")) + "]"
val pretty = json.parseJson.prettyPrint
Some(s"$pretty\n")
}

虽然丑陋且效率低下,但只要最终结果不是大数据,它就会做我想做的事,在这种情况下,我无论如何都不想要一个合适的 json 文件。

关于scala - 如何使用 Scala 在 spark 中漂亮地打印 JSON 数据框?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/37175140/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com