java - Hadoop:处理来自 RunningJob.isComplete() 的异常

Question

类(class)RunningJob有几种抛出 IOException 的方法(大概是当与 Hadoop 的连接失败时？)我现在正在查看的方法是 isComplete()。

处理此类错误的正确方法是什么？我应该假设这份工作已经死了吗？我应该等待并再试一次吗？简单地让我的应用程序在此时停止运行并不是一种选择，因为它正在管理 Hadoop 和其他地方的大量作业，并且它需要尽可能健壮。

Answer 1

我的回答对于评论来说有点太长了，所以很抱歉我没有直接回答你的问题。我的回答主要是根据经验来谈的。

如果异常抛出到这个级别，您几乎可以假设该作业将会终止。我发现仅仅重试或尝试自动修复问题以响应抛出的异常是徒劳的。可能出错的地方太多了。

通常，当通常运行良好的作业失败时，系统中出现了需要修复的问题。也许 NameNode 死了，也许交换机坏了，谁知道呢。不幸的是，这些问题需要人类的关注。

在我看来，开发工作最好花在构建某种警报基础设施(通常是电子邮件)上，以便在工作失败时立即通知您......而不是考虑大量的极端情况。

一旦发现集群和作业的一些常见问题，您就可以开始在应用程序中构建异常处理。我认为不值得您花时间预先考虑所有事情。