gpt4 book ai didi

hadoop - Hadoop链作业-如果输入文件未退出,则跳过第二个作业

转载 作者:行者123 更新时间:2023-12-02 21:51:37 26 4
gpt4 key购买 nike

我有两个Hadoop工作。第一个作业将输出保存在hdfs文件中,第二个作业将该输入作为输入。当此文件不存在时,我有错误。如果第一个作业的输出不存在,如何跳过第二个作业?

最佳答案

使用此测试,但要使用第一个作业创建的路径:

FileSystem fs = FileSystem.get(conf);
String inputDir= "HDFS file path";
if (fs.exists(new Path(inputDir))) {

// this block gets executed only if the file path inputDir exists

}

块中的代码将包含第二个作业的配置和执行代码。

关于hadoop - Hadoop链作业-如果输入文件未退出,则跳过第二个作业,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/20199041/

26 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com