scala - Spark 应用程序完成回调

Question

我有一个 bash 脚本，每天晚上都会启动我的独立 EC2 Spark 集群并执行一个应用程序。我希望在应用程序完成时得到通知，以便我可以停止集群。

我想知道是否有某种基于 Spark 应用程序状态的回调。

我对 Spark 很新，所以另一个解决这个问题的提示将不胜感激。

谢谢。

更新:

使用 http://<master-host>:8080/metrics/master/json 提供的 json或 http://<master-host>:8080/metrics/applications/json我可以获得应用程序的状态(WAITING、RUNNING、FINISHED)，但我无法获得驱动程序的状态，该状态会告诉您执行是否失败。我确信必须有特定的指标配置才能显示这一点，但我找不到它。

为了获得这种状态，我废弃了 http://<master-host>:8080 中提供的 Web UI。找到执行我的应用程序的驱动程序并获取其状态。

Answer 1

spark-submit --status $submitID --master $master 2>&1 | grep "success"