gpt4 book ai didi

scala - Spark保存(写入) Parquet 只有一个文件

转载 作者:行者123 更新时间:2023-12-04 07:15:48 25 4
gpt4 key购买 nike

如果我写

dataFrame.write.format("parquet").mode("append").save("temp.parquet")

在 temp.parquet 文件夹中
我得到了与行号相同的文件号

我想我对 Parquet 并不完全了解,但它是自然的吗?

最佳答案

您可以将分区设置为 1 以保存为单个文件

dataFrame.repartition(1).write.format("parquet").mode("append").save("temp.parquet")

关于scala - Spark保存(写入) Parquet 只有一个文件,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/51628958/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com