java - Apache Spark——使用 spark-submit 抛出 NoSuchMethodError

Question

要将 Spark 应用程序提交到集群，他们的文档说明:

To do this, create an assembly jar (or “uber” jar) containing your code and its dependencies. Both sbt and Maven have assembly plugins. When creating assembly jars, list Spark and Hadoop as provided dependencies; these need not be bundled since they are provided by the cluster manager at runtime. -- http://spark.apache.org/docs/latest/submitting-applications.html

因此，我将 Apache Maven Shade 插件添加到我的 pom.xml 文件中。 (版本 3.0.0)
我将我的 Spark 依赖项的范围变成了 provided。 (版本 2.1.0)

(我还添加了 Apache Maven Assembly 插件，以确保在运行 mvn clean package 时将所有依赖项包装在 jar 中。我不确定是否真的有必要。)

---

这就是 spark-submit 失败的原因。它为我拥有的依赖项抛出一个 NoSuchMethodError(请注意，在 IntelliJ 内部编译时代码从本地实例运行，假设 provided 已被删除)。

Exception in thread "main" java.lang.NoSuchMethodError: com.google.common.base.Stopwatch.createStarted()Lcom/google/common/base/Stopwatch;

引发错误的代码行无关紧要——它只是我创建 Stopwatch 的主要方法中的第一行，它是 Google Guava 实用程序的一部分。 (版本 21.0)

网上的其他解决方案表明它与 Guava 的版本冲突有关，但我还没有找到这些建议。任何帮助将不胜感激，谢谢。

Answer 1

如果您查看 Spark 2.1.0 安装的 /jars 子目录，您可能会看到 guava-14.0.1.jar。根据 API for the Guava Stopwatch#createStarted method你正在使用， createStarted 在 Guava 15.0 之前不存在。最有可能发生的情况是，Spark 进程类加载器先找到 Spark 提供的 Guava 14.0.1 库，然后再找到打包在您的 uberjar 中的 Guava 21.0 库。

一个可能的解决方案是使用 class-relocation feature provided by the Maven Shade plugin (您已经在使用它来构建您的 uberjar)。通过“类重定位”，Maven-Shade 在 uberjar 打包期间从反射(reflect)其现有包名称(例如 com.google)的 pattern 位置移动 Guava 21.0 类(您的代码需要) .common.base) 到您在 Shade 配置中指定的任意 shadedPattern 位置(例如 myguava123.com.google.common.base)。

结果是新旧 Guava 库不再共享包名，避免了运行时冲突。