gpt4 book ai didi

python - Pyspark 将数据帧保存到 S3

转载 作者:太空狗 更新时间:2023-10-30 02:38:50 25 4
gpt4 key购买 nike

我想将数据帧保存到 s3,但是当我将文件保存到 s3 时,它会创建一个包含 ${folder_name} 的空文件,我想在其中保存文件。

保存数据帧的语法:-

f.write.parquet("s3n://bucket-name/shri/test")

它将文件保存在测试文件夹中,但它在 shr​​i 下创建了 $test

有没有一种方法可以在不创建额外文件夹的情况下保存它?

最佳答案

我可以使用下面的代码来做到这一点。

df.write.parquet("s3a://bucket-name/shri/test.parquet",mode="overwrite")

关于python - Pyspark 将数据帧保存到 S3,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/45869510/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com