scala - 覆盖 spark 的 guava 依赖版本

Question

spark 依赖于旧版本的 guava。我使用 sbt assembly 构建我的 spark 项目，不包括使用 provided 的 spark，并包括最新版本的 guava。

但是，当运行 sbt-assembly 时，guava 依赖项也从 jar 中排除。

我的构建.sbt:

libraryDependencies ++= Seq(
  "org.apache.spark" %% "spark-core" % sparkVersion % "provided",
  "org.apache.spark" %% "spark-sql" % sparkVersion % "provided",
  "org.apache.spark" %% "spark-mllib" % sparkVersion % "provided",
  "com.google.guava" % "guava" % "11.0"
)

如果我删除 % "provided"，则 spark 和 guava 都包含在内。

那么，我怎样才能排除 spark 而包含 guava？

Answer 1

您正在寻找阴影选项。参见 here但基本上你需要添加着色指令。像这样:

assemblyShadeRules in assembly := Seq(
  ShadeRule.rename("com.google.guava.**" -> "my_conf.@1")
    .inLibrary("com.google.guava" % "config" % "11.0")
    .inProject
  )

喜欢maven的也有对应的maven-shade-plugin