scala - 如何在 Kubernetes 上独立运行 Spark？

Question

我有一个在独立模式下使用 Spark 2.1 的 Scala 应用程序。该应用程序将运行 2 小时并完成。它应该每月运行一次。

我发现了几种结合 Spark 和 Kubernetes 的方法:

1. 使用 Apache Spark Helm 图表:https://github.com/kubernetes/charts/tree/master/stable/spark
2. Spark 有一个针对 Kubernetes 的特殊分支:https://github.com/apache-spark-on-k8s/spark
3. 构建我自己的应用程序 Docker 镜像，包括 Spark 二进制文件:http://blog.madhukaraphatak.com/scaling-spark-with-kubernetes-part-5/代码示例:https://github.com/phatak-dev/kubernetes-spark

大多数文档描述了如何在 Kubernetes 上运行 Spark 集群。在 Kubernetes 上独立运行 Spark 的方法是什么？

Answer 1

对于 Kubernetes 上的独立 Spark，现有的两个规范示例是:

1. https://github.com/kubernetes/charts/tree/master/stable/spark
2. https://github.com/kubernetes/examples/tree/master/staging/spark

这些当前运行的是过时的 Spark 版本，需要更新到 2.1 并很快更新到 2.2。 (欢迎 PR :))。

https://github.com/apache-spark-on-k8s/spark分支不是用于独立模式，而是旨在使 Spark 能够直接在 Kubernetes 集群上启动。它最终会合并到上游 Spark 中。如果您想使用它，文档是 here 。

到目前为止，如果您想使用 Spark 2.1，选项有:要么编译您自己的镜像，要么使用 apache-spark-on-k8s 中的 Spark 发行版打包您的应用程序。