json - 如何将 DataFrame 转换为 Json？

Question

我有一个巨大的 Json 文件，其中的一小部分如下:

{
    "socialNews": [{
        "adminTagIds": "",
        "fileIds": "",
        "departmentTagIds": "",
        ........
        ........
        "comments": [{
            "commentId": "",
            "newsId": "",
            "entityId": "",
            ....
            ....
        }]
    }]
    .....
    }

我在socialNews上应用了横向 View exlode如下:

val rdd = sqlContext.jsonFile("file:///home/ashish/test")
rdd.registerTempTable("social")
val result = sqlContext.sql("select * from social LATERAL VIEW explode(socialNews) social AS comment")

现在我想将此结果(DataFrame)转换回 json 并保存到文件中，但我找不到任何 scala api 来进行转换。
有没有标准库可以做到这一点，或者有什么方法可以解决这个问题？

Answer 1

val result: DataFrame = sqlContext.read.json(path)
result.write.json("/yourPath")

方法 write在类(class) DataFrameWriter您应该可以访问 DataFrame对象。只需确保您的 rdd 类型为 DataFrame而不是弃用的类型 SchemaRdd .您可以明确提供类型定义 val data: DataFrame或使用 toDF() 转换为 dataFrame .