gpt4 book ai didi

scala - 将 spark dataframe 写入现有的 parquet hive 表

转载 作者:可可西里 更新时间:2023-11-01 15:49:55 26 4
gpt4 key购买 nike

想要将 spark 数据帧写入现有的 parquet hive 表。我可以使用df.write.mode("append").insertI to("myexistinghivetable")来完成,但是如果我检查文件系统,我可以看到 spark 文件以 .c000 扩展名登陆.那些文件是什么意思?以及如何将 dataframe 写入 parquet hive 表。

最佳答案

我们可以使用 df.write.partitionBy("mypartitioncols").format("parquet").mode(SaveMode.Append).saveAsTable("hivetable")在早期版本的 spark 保存模式中,append 是不存在的。

关于scala - 将 spark dataframe 写入现有的 parquet hive 表,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/50803092/

26 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com