java - Spark 操作中用户 lib jar 优先于 oozie 共享 lib

Question

以下选项是在 yarn 集群上运行时给予用户 jar 优先于 oozie 共享 lib jar 的最佳方法(以解决类冲突问题)吗？

<property>
    <name>oozie.launcher.mapreduce.user.classpath.first</name>
    <value>true</value>
</property> 

了解更多详情，Apache Oozie ebook

Answer 1

是的，您可以使用此选项，但如果jars版本与yarn/spark集群库不兼容，有时在运行作业时会出现意外错误(例如，某些方法可能在最新版本中被删除)。