gpt4 book ai didi

hadoop - 在级联中删除 outputPath

转载 作者:可可西里 更新时间:2023-11-01 16:25:31 25 4
gpt4 key购买 nike


我们一般使用如下代码删除mapreduce中的输出路径

outputPath.getFileSystem(conf).delete(outputPath,true);

我的问题是,我们可以在级联中做同样的事情吗?如果是,请建议我这样做的步骤。
谢谢:)

最佳答案

如果打算在下一次运行 mapreduce 时重用输出目录,则将接收器 Tap 的属性设置为 SinkMode.REPLACE。它会删除 hdfs 输出目录,并且 mapreduce 作业在重新运行之间不会失败。

Tap sink = new Hfs(<your scheme>,<your output hdfs dir>,SinkMode.REPLACE)

关于hadoop - 在级联中删除 outputPath,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/34216680/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com