maven - 覆盖数据 block 依赖

Question

在我们的项目中，我们使用 1.3.4 版中的 com.typesafe:config。据最新release notes ，集群上的 Databricks 已经提供了这种依赖关系，但是在一个非常旧的版本 (1.2.1) 中。
如何用我们自己的版本覆盖提供的依赖项？

我们使用 maven，在我们的依赖项中我有

<dependency>
    <groupId>com.typesafe</groupId>
    <artifactId>config</artifactId>
    <version>1.3.4</version>
</dependency>

因此，我们创建的 jar 文件应该包含较新的版本。

我通过上传 jar 文件创建了一个 Job。 Job 失败是因为找不到 1.2.1 版本之后添加的方法，所以看起来我们提供的库被集群上的旧版本覆盖了。

Answer 1

最后，我们通过对相关类着色，将以下内容添加到我们的 build.sbt 中解决了这个问题

assemblyShadeRules in assembly := Seq(
  ShadeRule.rename("com.typesafe.config.**" -> "shadedSparkConfigForSpark.@1").inAll
)