hadoop - Spark.jars不将 jar 添加到类路径

Question

我试图使用“spark.jars”属性在 Spark 作业中添加我的自定义jar。
虽然我可以在添加的jar的日志中读取信息，但是当我检查添加到类路径的jar时，却找不到它。以下是我也尝试过的函数。

1)spark.jars

2)spark.driver.extraLibraryPath

3)spark.executor.extraLibraryPath

4)setJars(Seq [String])

但是没有人添加jar。我在HDP中使用spark 2.2.0，文件保存在本地。
请让我知道我可能做错了什么。

第一个选项对我有用.Spark.jars正在添加jar，因为它在Spark UI中显示。

Answer 1

检查documentation for submitting jobs，在底部添加额外的非运行jar

您可以将 jar 添加到SparkConf中的spark.jars中，也可以在运行时指定它们

./bin/spark-submit \
  --class <main-class> \
  --master <master-url> \
  --deploy-mode <deploy-mode> \
  --conf <key>=<value> \
  ... # other options
  <application-jar> \

所以尝试 spark-submit --master yarn --jars the_jar_i_need.jar my_script.py
例如，我有一个需要一个jar的pyspark脚本 kafak_consumer.py， spark-streaming-kafka-0-8-assembly_2.11-2.1.1.jar
要运行它，命令是

spark-submit --master yarn --jars spark-streaming-kafka-0-8-assembly_2.11-2.1.1.jar kafka_consumer.py