gpt4 book ai didi

java - Amazon EMR : java. io.IOException:文件已存在:s3n:///output/part-r-00002

转载 作者:行者123 更新时间:2023-11-30 04:23:49 25 4
gpt4 key购买 nike

我正在运行 MapReduce 作业。我的代码仅包含一个执行简单计算的类。在hadoop1.0.3的单节点设置上成功运行当我在 EMR 上运行它时,出现以下错误

java.io.IOException: File already exists: s3n://<bucketname>/output/part-r-00002
at org.apache.hadoop.fs.s3native.NativeS3FileSystem.create(NativeS3FileSystem.java:647)
at org.apache.hadoop.fs.FileSystem.create(FileSystem.java:557)
at org.apache.hadoop.fs.FileSystem.create(FileSystem.java:538)
at org.apache.hadoop.fs.FileSystem.create(FileSystem.java:445)
at org.apache.hadoop.mapreduce.lib.output.TextOutputFormat.getRecordWriter(TextOutputFormat.java:128)
at org.apache.hadoop.mapred.ReduceTask$NewTrackingRecordWriter.<init>(ReduceTask.java:583)
at org.apache.hadoop.mapred.ReduceTask.runNewReducer(ReduceTask.java:652)
at org.apache.hadoop.mapred.ReduceTask.run(ReduceTask.java:426)
at org.apache.hadoop.mapred.Child$4.run(Child.java:255)
at java.security.AccessController.doPrivileged(Native Method)
at javax.security.auth.Subject.doAs(Subject.java:396)
at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1132)
at org.apache.hadoop.mapred.Child.main(Child.java:249)

最佳答案

您需要将作业配置为每次运行时将结果写入不同的输出目录。

它现在正在提示,因为该位置已存在一个文件,很可能是因为您多次运行此作业。

关于java - Amazon EMR : java. io.IOException:文件已存在:s3n://<bucketname>/output/part-r-00002,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/16369794/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com