apache-spark - 在Kubernetes上运行Spark示例失败

Question

我的Mac OS / X版本:10.15.3

Minikube版本:1.9.2

我启动minikube时使用以下命令，而无需任何额外配置。

minikube start --driver=virtualbox
--image-repository='registry.cn-hangzhou.aliyuncs.com/google_containers' --cpus 4 --memory 4096 --alsologtostderr

然后我从Spark官方网站下载spark-2.4.5-bin-hadoop2.7，并通过以下命令构建spark镜像

eval $(minikube docker-env)
./bin/docker-image-tool.sh -m -t 2.4.5 build

然后我在存储Spark 2.4.5的本地计算机中使用follwing命令运行Spark-pi。

kubectl create serviceaccount spark
kubectl create clusterrolebinding spark-role --clusterrole=admin --serviceaccount=default:spark --namespace=default
./bin/spark-submit \
--master k8s://https://192.168.99.104:8443 \
--deploy-mode cluster \
--name spark-pi \
--class org.apache.spark.examples.SparkPi \
--conf spark.kubernetes.authenticate.driver.serviceAccountName=spark \
--conf spark.executor.instances=1 \
--conf spark.kubernetes.container.image=spark:2.4.5 \
local:///opt/spark/examples/jars/spark-examples_2.11-2.4.5.jar

我收到以下错误



完整日志可以在 full log中找到

谁能解释这个错误以及如何解决？

Answer 1

请检查您与Minikube一起启动的Kubernetes版本。

Spark v2.4.5 fabric8 Kubernetes客户端v4.6.1与Kubernetes API兼容，直到1.15.2(请参阅answer)。

您可以通过在--kubernetes-version命令中添加minikube start标志(请参阅docs)来使用Minikube启动特定的Kubernetes API版本。

另外，此问题可能是由this问题注释中描述的OkHttp库错误引起的。