spring - Spark/Spring验证API依赖项冲突

Question

我运行Spring / Spark应用程序并遇到此问题

以下方法不存在:

javax.validation.BootstrapConfiguration.getClockProviderClassName()Ljava/lang/String;

该方法的类 javax.validation.BootstrapConfiguration可从以下位置获得:

***validation-api-1.1.0.Final.jar!/javax/validation/BootstrapConfiguration.class

***/BOOT-INF/lib/validation-api-2.0.1.Final.jar!/javax/validation/BootstrapConfiguration.class

它是从以下位置加载的:

file:/usr/hdp/2.6.3.0-235/spark2/jars/validation-api-1.1.0.Final.jar

如何使spark首先读取我的依赖项，然后查看系统库？

我试图在Oozie中指定

我试图在spark-submit中指定

到目前为止没有任何工作。

Answer 1

曾经遇到过类似的情况。我最终完成了以下操作。即我将所需的 jar 复制到目录，并使用extraClasspath选项

spark-submit   --conf spark.driver.extraClassPath="C:\sparkjars\validation-api-2.0.1.Final.jar;C:\sparkjars\gson-2.8.6.jar" myspringbootapp.jar

在文档中，spark.driver.extraClassPath额外的类路径条目 附加在驱动程序的类路径之前。