gpt4 book ai didi

amazon-s3 - Emrfs 文件与 s3 同步不起作用

转载 作者:行者123 更新时间:2023-12-02 19:44:28 24 4
gpt4 key购买 nike

在 Amazon EMR 集群上运行 Spark 作业后,我直接从 s3 中删除了输出文件,并尝试再次重新运行该作业。我在尝试使用 sqlContext.write 在 s3 上写入 Parquet 文件格式时收到以下错误:

'bucket/folder' present in the metadata but not s3
at com.amazon.ws.emr.hadoop.fs.consistency.ConsistencyCheckerS3FileSystem.getFileStatus(ConsistencyCheckerS3FileSystem.java:455)

我尝试运行

emrfs sync s3://bucket/folder

尽管它确实从跟踪元数据的 DynamoDB 实例中删除了一些记录,但它似乎并未解决该错误。不知道我还能尝试什么。如何解决此错误?

最佳答案

原来我需要运行

emrfs delete s3://bucket/folder

首先在运行同步之前。运行上述解决了问题。

关于amazon-s3 - Emrfs 文件与 s3 同步不起作用,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/39823283/

24 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com