gpt4 book ai didi

hadoop - Apache Hadoop 中的 job.submit 和 job.waitForComplete 有什么区别?

转载 作者:可可西里 更新时间:2023-11-01 14:19:53 26 4
gpt4 key购买 nike

我已经阅读了文档,所以我知道其中的区别。

但我的问题是,如果我想在集群上并行运行多个 Hadoop 作业,使用 .submit 而不是 .waitForComplete 是否有任何风险?

我主要使用 Elastic Map Reduce。

当我尝试这样做时,我注意到只有第一个作业被执行。

最佳答案

如果您的目标是并行运行作业,那么使用 job.submit() 肯定没有风险。 job.waitForCompletion 存在的主要原因是它的方法调用仅在作业完成时返回,并且返回成功或失败状态,可用于确定要运行的进一步步骤或不是。

现在,回过头来看,您只看到第一个作业正在执行,这是因为默认情况下,Hadoop 按 FIFO 顺序安排作业。你当然可以改变这种行为。阅读更多 here .

关于hadoop - Apache Hadoop 中的 job.submit 和 job.waitForComplete 有什么区别?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/16702298/

26 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com