java - 如何通过 java 代码从 kubernetes 集群模式下的 Spark 应用程序获取正确的退出代码

Question

我正在 kubernetes 中以集群模式运行 java Spark 应用程序。此刻我是使用SparkLauncher的java API添加监听器来获取有关正在运行的应用程序的生命周期的通知。据我所知了解运行时监听器方式并未完全实现k8s。我正在使用的代码关闭了驱动程序容器上的 Spark 上下文。这结果是 java Sparkapphandle.listener 中的状态 LOST。

所以我的问题是，我应该使用哪种技术方式来获得通知关于我提交的应用程序的状态。目前就足够了知道应用程序的退出代码，而不是每个应用程序的进度或状态执行者。

我看到以下工具

• 历史服务器
• 休息API
• 任务指标
• 观察者 API ( https://github.com/kubernetes-client/java/blob/master/examples/src/main/java/io/kubernetes/client/examples/WatchExample.java )

我的意思是我看到了包含我感兴趣的信息的日志。我相信它是记录这些信息的 LoggingPodStatusWatcher.scala 类。

有人可以帮我指出收集信息的最聪明方法吗？从我启动的应用程序中以编程方式退出代码

谢谢马尔科

Answer 1

我最新的发现如何回答这个问题，是通过 wach api 使用fabric8io 库。

示例可以在这里找到。 https://github.com/fabric8io/kubernetes-client/blob/master/kubernetes-tests/src/test/java/io/fabric8/kubernetes/client/mock/PodTest.java