gpt4 book ai didi

hadoop - 在不创建 _temporary 文件夹的情况下将 Spark 数据帧作为 Parquet 写入 S3

转载 作者:可可西里 更新时间:2023-11-01 14:20:51 26 4
gpt4 key购买 nike

我正在使用 pyspark 从 Amazon S3 上的 Parquet 文件中读取数据帧,例如

dataS3 = sql.read.parquet("s3a://" + s3_bucket_in)

这没有问题。但是后来我尝试写数据

dataS3.write.parquet("s3a://" + s3_bucket_out)

我确实得到以下异常

py4j.protocol.Py4JJavaError: An error occurred while calling o39.parquet.
: java.lang.IllegalArgumentException: java.net.URISyntaxException:
Relative path in absolute URI: s3a://<s3_bucket_out>_temporary

在我看来,Spark 正在尝试先创建一个 _temporary 文件夹,然后再写入给定的存储桶。这可以以某种方式防止,以便 spark 直接写入给定的输出桶吗?

最佳答案

您不能删除 _temporary 文件,因为它用于保留中间文件在完成之前隐藏查询的工作

但这没关系,因为这不是问题所在。问题是输出提交者在尝试写入根目录时有点困惑(无法删除它,请参阅)

您需要写入存储桶下的子目录,并带有完整前缀。例如s3a://mybucket/work/out

我应该补充一点,尝试将数据提交到 S3A 是不可靠的,正是因为它模仿 rename() 的方式类似于 ls -rlf src | xargs -p8 -I% "cp % dst/% && rm %"。因为 ls 在 S3 上延迟了一致性,它可能会错过新创建的文件,所以不要复制它们。

参见:Improving Apache Spark了解详情。

现在,您只能通过写入 HDFS 然后复制来可靠地提交到 s3a。 EMR s3 通过使用 DynamoDB 提供一致的列表来解决这个问题

关于hadoop - 在不创建 _temporary 文件夹的情况下将 Spark 数据帧作为 Parquet 写入 S3,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/46464065/

26 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com