apache-spark - 出现错误时如何使 Spark 应用程序失败

Question

我想让我的 Spark 应用程序失败，同时遇到错误(比如我的文件行数少于 10，这是我的业务逻辑的逻辑错误)。我正在做一个 System.exit(20)，但是当我在 yarn (yarn application -status) 中检查应用程序的状态时，它显示成功，我想看到 failed 而不是。我正在使用 shell 脚本使事情自动化，但这种行为对我来说是一个障碍。

请你帮帮我，我怎么能优雅地完全失败我的 Spark 应用程序，这样 yarn 应用程序状态就会失败。

注意:我在 yarn 集群模式下运行 spark

谢谢，

Answer 1

如果你的代码是 Java，你可以调用方法 stop()在您的 JavaSparContex 上，像这样:

SparkConf sparkConf = new SparkConf(); 
JavaSparkContext javaSparkContext = new JavaSparkContext(sparkConf);

javaSparkContext.sc().taskScheduler().stop();