java.lang.IllegalArgumentException : Attempt to add ([custom-jar-with-spark-code]. jar) 多次到分布式缓存

Question

我正在尝试使用 Oozie 在 EMR 集群上运行一个简单的 Java Spark 作业。该作业只是从输入路径获取文件，对其执行一些基本操作，并将结果放置在不同的输出路径中。

当我尝试使用 Spark-submit 从命令行运行它时，如下所示，它工作正常:

spark-submit --class com.someClassName --master yarn --deploy-mode cluster /home/hadoop/some-local-path/my-jar-file.jar yarn s3n://input-path s3n://output-path

然后我在 Oozie 工作流程中设置了相同的内容。然而，当从那里运行时，作业总是失败。标准输出日志包含此行:

Failing Oozie Launcher, Main class [org.apache.oozie.action.hadoop.SparkMain], main() threw exception, Attempt to add (hdfs://[emr-cluster]:8020/user/oozie/workflows/[WF-Name]/lib/[my-jar-file].jar) multiple times to the distributed cache.
java.lang.IllegalArgumentException: Attempt to add (hdfs://[emr-cluster]:8020/user/oozie/workflows/[WF-Name]/lib/[my-jar-file].jar) multiple times to the distributed cache.

我找到了KB note另一个 question StackOverflow 上处理了类似的错误。但对于他们来说，该作业由于内部 JAR 文件而失败 - 而不是用户传递运行的文件。尽管如此，我尝试了它的解决步骤来删除 share-lib 中 Spark 和 oozie 之间常见的 jar 文件，并最终从“/user/oozie/share/lib/lib_*/spark 中删除了一些文件”。不幸的是，这也没有解决问题。

关于如何调试此问题有什么想法吗？

Answer 1

所以我们终于解决了这个问题 - 至少在我们的例子中是这样。

使用 Hue 创建工作流时，添加 Spark Action 时，默认会提示输入"file"和“Jar/py 名称”。我们在这些字段中分别提供了要运行的 JAR 文件的路径和该 JAR 文件的名称，它创建了基本操作，如下所示:

它创建的最终 XML 如下:

<action name="spark-210e">
    <spark xmlns="uri:oozie:spark-action:0.2">
        <job-tracker>${jobTracker}</job-tracker>
        <name-node>${nameNode}</name-node>
        <master>yarn</master>
        <mode>cluster</mode>
        <name>CleanseData</name>
          <class>com.data.CleanseData</class>
        <jar>JCleanseData.jar</jar>
          <spark-opts>--driver-memory 2G --executor-memory 2G --num-executors 10 --files hive-site.xml</spark-opts>
          <arg>yarn</arg>
          <arg>[someArg1]</arg>
          <arg>[someArg2]</arg>
        <file>lib/JCleanseData.jar#JCleanseData.jar</file>        
    </spark>
    <ok to="[nextAction]"/>
    <error to="Kill"/>
</action>

默认file其中的标签导致了我们案例中的问题。

因此，我们删除了它并将定义编辑为如下所示并且有效。请注意 <jar> 的更改标签也是如此。

<action name="spark-210e">
    <spark xmlns="uri:oozie:spark-action:0.2">
        <job-tracker>${jobTracker}</job-tracker>
        <name-node>${nameNode}</name-node>
        <master>yarn</master>
        <mode>cluster</mode>
        <name>CleanseData</name>
          <class>com.data.CleanseData</class>
        <jar>hdfs://path/to/JCleanseData.jar</jar>
          <spark-opts>--driver-memory 2G --executor-memory 2G --num-executors 10 --files hive-site.xml</spark-opts>
          <arg>yarn</arg>
          <arg>[someArg1]</arg>
          <arg>[someArg1]</arg>
    </spark>
    <ok to="[nextAction]"/>
    <error to="Kill"/>
</action>

PS:我们在 Hive 操作上也遇到了类似的问题。 hive-site.xml我们应该通过 Hive 操作传递的文件 - 它创建了 <job-xml>标签 - 也引起了问题。所以我们删除了它并且它按预期工作。