scala - 在 Yarn UI 中将 Spark 作业标记为失败

Question

该应用程序是复杂生态系统的一部分，我们使用 Yarn Rest Api 跟踪所有作业的状态。

现在对于一些特定的业务场景，我们需要将 Spark Job 标记为失败，但我遇到了一个问题，因为我在 spark 作业 Error/Exception 或 System.exit(123) 作业中提出的内容都被标记为 Finished在 Yarn 中，最终状态为 Succeeded。

使用 spark-submit 使用 jar 触发 spark 作业。

object Execute {
 def main(args: Array[String]) {
   val sc = new SparkContext(sparkConf)
   if(businessException needs to be raised)
      //What to do???
 }
}

我在 Spark 工作中尝试过的事情:

抛出新错误(“随便”)

抛出新异常(“随便”)

System.exit(123)

系统退出(123)

希望有人能告诉我如何在 yarn UI 中将 spark 作业标记为失败。

Answer 1

别管这个。无论如何，Yarn 对 spark 应用程序的报告是不稳定的，从 Jira 上的多个错误可以明显看出，这表明 Yarn 有时会将成功的 spark 作业标记为失败，反之亦然。

我最终制作了自己的数据库表来跟踪结果最终状态(错误、成功等)，根据条件从 spark 作业更新。