python - PySpark 将 DataFrame 保存到实际的 JSON 文件

Question

如何将 PySpark DataFrame 保存为真实的 JSON 文件？

按照文档，我试过了

df.write.json('myfile.json')

它可以工作，但是它将文件保存为一系列字典，每行一个，这不能被正确读取

import json
d = json.load(open('myfile.json'))

我希望文件包含字典列表。有办法吗？

Answer 1

有办法吗？不是真的，或者至少不是以一种优雅的方式。您可以将数据转换为 Python RDD、计算分区统计信息并手动构建完整的文档，但这看起来像是在浪费时间。

如果你想获得 dicts 的 list 只需逐行解析文件(-s):

with open('myfile.json') as fr:
    dicts = [json.loads(line) for line in fr]