apache-spark - 如何在集群模式下提供依赖 jars 来触发提交

Question

我正在使用集群模式运行 spark 进行部署。下面是命令

JARS=$JARS_HOME/amqp-client-3.5.3.jar,$JARS_HOME/nscala-time_2.10-2.0.0.jar,\
$JARS_HOME/rabbitmq-0.1.0-RELEASE.jar,\
$JARS_HOME/kafka_2.10-0.8.2.1.jar,$JARS_HOME/kafka-clients-0.8.2.1.jar,\
$JARS_HOME/spark-streaming-kafka_2.10-1.4.1.jar,\
$JARS_HOME/zkclient-0.3.jar,$JARS_HOME/protobuf-java-2.4.0a.jar

dse spark-submit -v --conf "spark.serializer=org.apache.spark.serializer.KryoSerializer" \
 --executor-memory 512M \
 --total-executor-cores 3 \
 --deploy-mode "cluster" \
 --master spark://$MASTER:7077 \
 --jars=$JARS \
 --supervise \
 --class "com.testclass" $APP_JAR  input.json \
 --files "/home/test/input.json"

上述命令在客户端模式下工作正常。但是当我在集群模式下使用它时，我得到 class not found 异常

Exception in thread "main" java.lang.reflect.InvocationTargetException
    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
    at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
    at java.lang.reflect.Method.invoke(Method.java:606)
    at org.apache.spark.deploy.worker.DriverWrapper$.main(DriverWrapper.scala:58)
    at org.apache.spark.deploy.worker.DriverWrapper.main(DriverWrapper.scala)
Caused by: java.lang.NoClassDefFoundError: org/apache/spark/streaming/kafka/KafkaUtils$

在客户端模式下，依赖的 jars 被复制到/var/lib/spark/work 目录，而在集群模式下不是。请帮我解决这个问题。

编辑:

我正在使用 nfs，并且在所有 spark 节点上以相同的名称安装了相同的目录。我仍然收到错误。它如何能够选择也在同一目录下但不是从属 jars 的应用程序 jar ？

Answer 1

In client mode the dependent jars are getting copied to the /var/lib/spark/work directory whereas in cluster mode it is not.

在集群模式下，驱动程序运行在集群中，而不是在本地(与客户端模式相比)，并且依赖的 jar 应该在集群中可以访问，否则驱动程序和执行程序将抛出“java.lang.NoClassDefFoundError”异常。

实际上，当使用 spark-submit 时，应用程序 jar 以及 --jars 选项中包含的任何 jar 将自动传输到集群。

您可以将额外的 jar 添加到 --jars ，它们将自动复制到集群中。

请参阅以下链接中的“高级依赖管理”部分:
http://spark.apache.org/docs/latest/submitting-applications.html