apache-spark - kubernetes 上的 Spark-Submit 自定义 jar 失败并显示 : failed to load class

Question

这个问题已经有答案了:

How to deploy Spark application jar file to Kubernetes cluster? (2 个回答)

已关闭 2 年前。

我无法在 Kubernetes 上运行自定义 Spark 应用程序。

我已按照设置https://spark.apache.org/docs/latest/running-on-kubernetes.html进行操作examplel 上的步骤如下: https://towardsdatascience.com/how-to-build-spark-from-source-and-deploy-it-to-a-kubernetes-cluster-in-60-minutes-225829b744f9我可以运行 Spark-pi 示例。

我什至重新创建了 Spark 图像，并让它在/opt/spark/examples/jars 和/opt/spark/jars 中包含我的 xxx.jar，但我仍然遇到无法加载类的问题。任何我可能错过的想法。这让我感到非常困惑，因为我检查了该 jar 是否是示例 jar 旁边的图像的一部分，并且这些工作正常。

我像这样运行spark-submit。

bin/spark-submit
--master k8s://https://localhost:6443
--deploy-mode cluster
--conf spark.executor.instances=3
--conf spark.kubernetes.authenticate.driver.serviceAccountName=spark
--conf spark.kubernetes.container.image=spark2:latest
--conf spark.kubernetes.container.image.pullPolicy=Never
--class com.xxx.Application
--name myApp
local:///opt/spark/examples/jars/xxx.jar

更新:添加了堆栈跟踪:

spark.driver.bindAddress=10.1.0.68 --deploy-mode client --properties-     file /opt/spark/conf/spark.properties --class com.xxx.Application    local:///opt/spark/examples/jars/xxx.jar

20/05/13 11:02:09 WARN NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

Error: Failed to load class com.xxx.Application.
log4j:WARN No appenders could be found for logger (org.apache.spark.util.ShutdownHookManager).

谢谢!

Answer 1

验证您引用的 jar 有 Application.class文件位于com.xxx.Application.class使用jar xf <jar name>.jar替换

local:///opt/spark/examples/jars/xxx.jar

与

/opt/spark/examples/jars/xxx.jar

在你的spark-submit中命令