apache-spark - 如何使用 Spark-submit 命令获取提交到 Spark 集群的作业的应用程序 ID/作业 ID？

Question

我正在使用 spark-submit 命令提交 Apache Spark 作业。我想检索使用 spark-submit 命令提交的作业的应用程序 ID 或作业 ID。推荐的方式应该是什么？

Answer 1

可以解析 spark-submit 命令的输出以获取应用程序 ID。这是你应该看的线 -

2018-09-08 12:01:22 INFO StandaloneSchedulerBackend:54 - Connected to Spark cluster with app ID app-20180908120122-0001

appId=`./bin/spark-submit <options> 2>&1 | tee /dev/tty | grep -i "Connected to Spark Cluster" | grep -o app-.*[0-9]`
echo $appId
app-20180908120122-0001

您的用例不清楚，但如果您在作业完成后查找应用程序 ID，那么这可能会有所帮助。对于 yarn 和其他簇，这条线可能不同。