python - 在 pyspark 中将数据框保存到本地驱动器上的 JSON 文件

Question

我有一个数据框，我正尝试使用 pyspark 1.4 将其另存为 JSON 文件，但它似乎不起作用。当我给它目录的路径时，它返回一个错误，指出它已经存在。我的假设基于 documentation是它会在您提供的路径中保存一个 json 文件。

df.write.json("C:\Users\username")

指定具有名称的目录不会产生任何文件并给出错误“java.io.IOException:Mkdirs 无法创建文件:/C:Users/username/test/_temporary/....等。然而，它确实创建了一个名为 test 的目录，其中包含几个带有空白 crc 文件的子目录。

df.write.json("C:\Users\username\test")

并添加JSON的文件扩展名，产生同样的错误

df.write.json("C:\Users\username\test.JSON")

Answer 1

你能不能只用

df.toJSON()

如图here ？如果没有，那么先转成pandas DataFrame，然后写入json。

pandas_df = df.toPandas()
pandas_df.to_json("C:\Users\username\test.JSON")