apache-spark - Oozie > Spark action > 为什么 jar 元素不接受多个 jars

Question

我是起诉 Spark 行动的新手。

如 Oozie Spark 操作页面所述:
https://oozie.apache.org/docs/4.2.0/DG_SparkActionExtension.html

jar 元素表示以逗号分隔的 jar 或 python 文件列表。

所以我添加了一些东西:
test1.jar,test2.jar

但问题是 Oozie 根本不认识它。无论如何，如果我只向 jar 元素添加一个 jar，它确实有效。

为什么 Oozie 不像在他们的文档站点中介绍的那样工作？

提前致谢!

更多评论:经过长时间的研究，我真的觉得Oozie不是一个易于使用的工具，只是需要花费大量时间来学习它。任何人都对其他一些工具有任何建议，这些工具在 Hadoop 系统中做同样的工作？

Answer 1

我有同样的问题，并通过这种方式解决:

在属性中定义:

libDir=${nameNode}${hdfsHomeDir}/lib
sparkLib=${libDir}/sparklib.jar,${libDir}/spark-csv_2.10-1.3.0.jar,${libDir}/commons-csv-1.1.jar

然后

<action name="activeuser">
       <spark xmlns="uri:oozie:spark-action:0.1">
           <jar>${nameNode}${hdfsHomeDir}/lib/${sparkActiveUserJarExe}</jar>
           <spark-opts>--jars ${sparkLib}</spark-opts>
        </spark>
        <ok to="end"/>
        <error to="wl_fail"/>
    </action>