json - pyspark 数据帧转换为有效的 json

Question

我正在尝试将数据帧转换为有效的 json 格式，但尚未成功。

如果我这样做:

fullDataset.repartition(1).write.json(f'{mount_point}/eds_ckan', mode='overwrite', ignoreNullFields=False)

我只得到基于行的 json，如下所示:

{"col1":"2021-10-09T12:00:00.000Z","col2":336,"col3":0.0}
{"col1":"2021-10-16T20:00:00.000Z","col2":779,"col3":6965.396}
{"col1":"2021-10-17T12:00:00.000Z","col2":350,"col3":0.0}

有人知道如何将其转换为不基于行的有效 json 吗？

Answer 1

下面是将数据帧转换为有效 Json 的示例

尝试使用Collect，然后使用json.dump

import json
collected_df = df_final.collect()
with open(data_output_file + 'createjson.json', 'w') as outfile:
    json.dump(data, outfile)

这里有一些相关讨论的链接，您可以通过查看来获取完整信息。

Dataframe to valid JSON

Valid JSON in spark