gpt4 book ai didi

java - Hadoop 作业挂起等待被杀死

转载 作者:可可西里 更新时间:2023-11-01 15:19:04 26 4
gpt4 key购买 nike

我有多个 Hadoop 作业执行不同的处理。当其中一些(自定义业务异常)发生异常时,它会传播到 map() 方法,作业会立即终止。

然而,一些作业在映射器类的 setup() 方法中抛出异常。当发生这种情况时,作业会挂起 40 分钟(我的 Hadoop 计时器必须设置为此),并且根据任务重新运行策略,我必须等待 4*40 = 160 分钟。在这种特殊情况下,其中一个业务类抛出 IllegalArgumentException。

我怎样才能处理这个漫长的“工作卡在云端”的时期,同时保持我的计时器不变?

最佳答案

您可以在命令行上使用 hadoop job -kill <jobid> 终止作业

关于java - Hadoop 作业挂起等待被杀死,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/8211248/

26 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com