apache-spark - kubernetes集群上的spark-submit无法识别k8s --master属性

Question

我已经成功安装了Kubernetes集群，并可以通过以下方法进行验证:

C:\windows\system32>kubectl cluster-info
        Kubernetes master is running at https://<ip>:<port>
        KubeDNS is running at https://<ip>:<port>/api/v1/namespaces/kube-system/services/kube-dns:dns/proxy

然后，我尝试使用从 https://spark.apache.org/downloads.html下载的Spark运行SparkPi。

spark-submit --master k8s://https://192.168.99.100:8443 --deploy-mode cluster --name spark-pi --class org.apache.spark.examples.SparkPi --conf spark.executor.instances=2 --conf spark.kubernetes.container.image=gettyimages/spark c:\users\<username>\Desktop\spark-2.4.0-bin-hadoop2.7\examples\jars\spark-examples_2.11-2.4.0.jar

我收到此错误:

Error: Master must either be yarn or start with spark, mesos, local
Run with --help for usage help or --verbose for debug output

我尝试了2.4.0和2.3.3版本。我也试过

spark-submit --help

了解有关 --master 属性的信息。这是我得到的:

--master MASTER_URL         spark://host:port, mesos://host:port, yarn, or local.

根据有关在Kubernetes中运行Spark工作负载的文档 https://spark.apache.org/docs/latest/running-on-kubernetes.html]，spark-submit甚至似乎无法识别master的k8s值。 [包括在可能的Spark大师中: https://spark.apache.org/docs/latest/submitting-applications.html#master-urls]

有任何想法吗？我在这里会想念什么？

谢谢

Answer 1

问题是我的CMD可以识别我已经安装的以前的spark-submit版本(2.2)，即使我正在从spark安装的bin目录中运行命令。