java - Spark fat jar 在 YARN 上运行多个版本

Question

我有一个带有 YARN 的旧版 Spark 安装程序，我不想删除它，但仍想使用较新的版本。我找到了一个 couple提到如何将 fat jar 用于此目的的帖子。

Many所以 posts指向 maven(官方支持)或 sbt 来构建一个 fat jar，因为它不能直接用于 download .似乎有多个插件可以使用 maven 来完成它:maven-assembly-plugin、maven-shade-plugin、onejar-maven-plugin 等。

但是，我不知道我是否真的需要一个插件，如果需要，需要哪个插件以及如何使用它。我尝试使用“build/mvn”和“build/sbt”直接编译 github 源代码，但“spark-assembly_2.11-2.0.2.jar”文件只有 283 字节。

我的目标是使用较新版本的 fat jar 以与提到的类似方式运行 pyspark shell here .

Answer 1

从 spark 版本 2.0.0 开始，不再支持创建远 jar，您可以在 Do we still have to make a fat jar for submitting jobs in Spark 2.0.0? 中找到更多信息。

针对您的情况(在 YARN 上运行)，推荐的方法是在 HDFS 上使用 spark 的 jars/ 目录的内容创建目录，并将此路径添加到 spark-defaults.conf:

spark.yarn.jars    hdfs:///path/too/jars/directory/on/hdfs/*.jar

然后，如果您运行 pyspark shell，它将使用以前上传的库，因此它的行为与 Spark 1.X 中的 fat jar 完全一样。