apache-spark - Kubernetes 上的 Spark 提交，即使 Spark 作业完成后，执行程序 Pod 仍在运行。因此，资源不能免费用于新工作

Question

我们正在使用集群模式和更多内存配置将 spark 作业提交到 kubernetes 集群中。我的工作在大约 5 分钟内完成，但我的执行器 pod 在 30 到 40 分钟后仍在运行。因此，由于资源仍绑定(bind)到正在运行的 pod，因此新作业处于待处理状态。

下面是 spark 提交命令:

/spark-2.4.4-bin-hadoop2.7/bin/spark-submit --deploy-mode cluster --class com.Spark.MyMainClass --driver-memory 3g --driver-cores 1 --executor-memory 12g --executor-cores 3 --master k8s://https://masterhost:6443 --conf spark.kubernetes.namespace=default --conf spark.app.name=myapp1 --conf spark .executor.instances=3 --conf spark.kubernetes.driver.pod.name=myappdriver1 --conf spark.kubernetes.container.image=imagePath --conf spark.kubernetes.authenticate.driver.serviceAccountName=spark --conf spark .kubernetes.driver.container.image=imagePath --conf spark.kubernetes.executor.container.image=imagePath local:///opt/spark/jars/MyApp.jar

Answer 1

你需要添加

sparkSession.stop()

在代码的末尾