apache-spark - spark cluster libs 版本低于我的项目在 Gradle 中的依赖项的解决方案是什么

Question

我的项目必须依赖使用更高版本 httpcore (4.3.2) 的依赖项，但在集群上，Spark 使用的是 4.2.5。在我用 Gradle shadowJar 插件构建胖 jar 后，我发现 4.3.2 在胖 jar 中。但是当我使用 spark-submit 运行 spark 程序时，总是加载 4.2.5。

那么处理此类用例的一般解决方案是什么:您的依赖项使用的 jar 版本高于 Spark 使用的版本。

Answer 1

我能够通过创建一个带阴影的 JAR 来解决冲突。

Spark 执行器在 yarn 模式下运行时存在依赖性问题。

通过在我的 Gradle 项目中对我的依赖进行着色来解决，如下所示:

apply plugin: 'com.github.johnrengelman.shadow'

shadowJar {
    // shading these two packages as they clash with spark executor env
    relocate 'org.apache.http', 'com.org.shaded.http'
    zip64 = true
}

build {
    dependsOn shadowJar
}

引用: https://imperceptiblethoughts.com/shadow/configuration/relocation/