apache-spark - 在 Spark 2.3.0 上使用 k8s 集群作为 spark 集群管理器

Question

我试图从 spark 2.3.0 的二进制版本向 k8s 集群提交示例作业，提交命令如下所示。但是，我一直遇到错误的主错误。我真的很确定我的 k8s 集群运行良好。

bin/spark-submit \
    --master k8s://https://<k8s-master-ip> \
    --deploy-mode cluster \
    --name spark-pi \
    --class org.apache.spark.examples.SparkPi \
    --conf spark.executor.instances=3 \
    --conf spark.kubernetes.container.image= <image-built-from-dockerfile> \
    --conf spark.kubernetes.driver.pod.name=spark-pi-driver \
    local:///opt/examples/jars/spark-examples_2.11-2.3.0.jar

错误就出来了

Error: Master must either be yarn or start with spark, mesos, local

这是 kubectl cluster-info 的输出

Kubernetes master is running at https://192.168.0.10:6443
KubeDNS is running at https://192.168.0.10:6443/api/v1/namespaces/kube-system/services/kube-dns:dns/proxy

Answer 1

因为我英语不好。所以可能有一些错误的语法。但我会尽力回答你的问题。我的解决方法是检查您的 $SPARK_HOME 并更改为您的“apache-spark-on-k8s”文件路径。因为 spark-submit 默认使用“${SPARK_HOME}”来运行您的命令。也许您有两个 spark 环境和我一样的机器。所以命令总是使用你原来的 Spark 。希望这个答案对您有所帮助。