apache-spark - spark-submit 依赖冲突

Question

我正在尝试提交一个 jar 到 spark，但我的 jar 包含与 spark 的内置 jar(snakeyml 和其他)冲突的依赖项。

有没有办法告诉 spark 优先考虑我的项目对/jar 中的 jar 的依赖更新

当我运行 spark-submit 时，出现以下异常:

Caused by: java.lang.NoSuchMethodError: javax.validation.BootstrapConfiguration.getClockProviderClassName()Ljava/lang/String;
at org.hibernate.validator.internal.xml.ValidationBootstrapParameters.<init>(ValidationBootstrapParameters.java:63)
at org.hibernate.validator.internal.engine.ConfigurationImpl.parseValidationXml(ConfigurationImpl.java:540)
at org.hibernate.validator.internal.engine.ConfigurationImpl.buildValidatorFactory(ConfigurationImpl.java:337)
at javax.validation.Validation.buildDefaultValidatorFactory(Validation.java:110)
at org.hibernate.cfg.beanvalidation.TypeSafeActivator.getValidatorFactory(TypeSafeActivator.java:501)
at org.hibernate.cfg.beanvalidation.TypeSafeActivator.activate(TypeSafeActivator.java:84)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at java.lang.reflect.Method.invoke(Method.java:498)
at org.hibernate.cfg.beanvalidation.BeanValidationIntegrator.integrate(BeanValidationIntegrator.java:132)
... 41 more

这是由于 spark 具有较旧版本的 validation-api (validation-api-1.1.0.Final.jar)我的项目依赖于较新的版本，它确实与我的 jar 捆绑在一起 (javax.validation:validation-api:jar:2.0.1.Final:compile)

我使用这个命令提交:

/spark/bin/spark-submit --conf spark.executor.userClassPathFirst=true --conf spark.driver.userClassPathFirst=true

但我仍然遇到同样的异常

Answer 1

如果您使用 SBT 构建 jar，则需要排除集群上的那些类。例如如下:

"org.apache.spark" %% "spark-core" % "2.2.0" % "provided"

您通过添加“提供”来做到这一点，这意味着这些类已经在您运行它的环境中提供。