gpt4 book ai didi

java - Spark `FileAlreadyExistsException` when `saveAsTextFile` 即使输出目录不存在

转载 作者:可可西里 更新时间:2023-11-01 16:07:09 25 4
gpt4 key购买 nike

<分区>

我正在运行这个命令行:

hadoop fs -rm -r /tmp/output

然后是一个带有 main()

的 Java8 spark 作业
    SparkConf sparkConf = new SparkConf();
JavaSparkContext sc = new JavaSparkContext(sparkConf);
JavaRDD<JSONObject> rdd = sc.textFile("/tmp/input")
.map (s -> new JSONObject(s))
rdd.saveAsTextFile("/tmp/output");
sc.stop();

我得到这个错误:

ERROR ApplicationMaster: User class threw exception: org.apache.hadoop.mapred.FileAlreadyExistsException: Output directory /tmp/output already exists

知道如何解决吗?

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com