gpt4 book ai didi

java - Hadoop:如何防止失败的任务导致整个作业失败?

转载 作者:可可西里 更新时间:2023-11-01 16:32:03 24 4
gpt4 key购买 nike

我正在运行一个包含 1000 个任务的 hadoop 作业。我需要这份工作来尝试运行每项任务,但许多任务不会完成,而是会抛出异常。我无法更改此行为,但我仍然需要从未失败的任务中获取的数据。

如何确保 Hadoop 在遇到大量失败任务的情况下完成所有 1000 个任务?

最佳答案

在您的情况下,您可以设置在不触发作业失败的情况下允许失败的最大任务百分比。 Map任务和reduce任务独立控制,使用

mapred.max.map.failures.percent 
mapred.max.reduce.failures.percent

属性。因此,如果您想要 70% 的任务结果,即使 30% 的任务失败了,您也可以使用上述属性来实现。

关于java - Hadoop:如何防止失败的任务导致整个作业失败?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/26452565/

24 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com