apache-spark - 在Kubernetes上运行Spark是否仍处于实验阶段？

Question

我们想在Spark集群上测试一些Kubernetes提交；
但是，official documentation有点模棱两可。

Spark can run on clusters managed by Kubernetes. This feature makes use of native Kubernetes scheduler that has been added to Spark.

The Kubernetes scheduler is currently experimental. In future versions, there may be behavioral changes around configuration, container images and entrypoints.

这是否意味着 kubernetes调度程序本身是实验性的，还是某种与spark相关的实现？
在生产级环境中对 Kubernetes运行spark是否有意义？

Answer 1

是的，如果您使用的是Spark Kubernetes调度程序(如您提到的here)，这是实验性的。需要您自担风险使用它。

并非如此，如果您正在Kubernetes中运行没有Kubernetes调度程序的独立集群。这意味着在Kubernetes容器中创建一个主机，然后分配许多与该主机通信的从机容器。然后使用没有spark-summit命令的旧旧--master k8s://和通常的--master spark://命令提交作业。基本上，不利的是，您在Kubernetes中的Spark集群是静态的。