apache-spark - 在 kubernetes(版本 1.8.*)集群上提交 Spark2.3 的 Rest API

Question

我在 AWS 上使用 kubernetes 集群运行 spark 作业，我使用 spark 2.3，现在我想从 AWS lambda 函数运行 spark-submit 到 k8s master，想知道是否有任何 REST 接口(interface)可以在 k8s Master 上运行 Spark submit？

Answer 1

不幸的是，如果您使用的是原生 Kubernetes 支持，Spark 2.3 是不可能的。

根据部署说明的描述，提交过程包含几个步骤:

Spark 创建在 Kubernetes pod 中运行的 Spark 驱动程序。

驱动程序创建也在 Kubernetes pod 中运行的执行程序

驱动程序连接到它们，并执行应用程序代码

当应用程序完成时，executor pod 终止并被清理，但驱动程序 pod 保留其日志并在 Kubernetes API 中保持“已完成”状态，直到最终被垃圾收集或手动清理。

所以，事实上，在您启动提交过程之前，您没有地方提交作业，这将为您启动第一个 Spark 的 pod(驱动程序)。只有在应用程序完成后，一切才会终止。

另请在 the link 下查看此问题的类似答案。