hadoop - 无法使用 oozie 运行示例 spark 作业

Question

我正在尝试在 CDH 5.7 集群上设置 oozie。我已经按照 cloudera 文档中的步骤安装和配置了所有内容。最后，我提取了 oozie-examples.tar.gz，将其放入 hdfs 并尝试运行一些示例。 MR 示例运行良好，但 spark one 失败并出现以下错误:

Resource hdfs://cluster/user/hdfs/.sparkStaging/application_1462195303197_0009/oozie-examples.jar changed on src filesystem (expected 1462196523983, was 1462196524951

我用来运行示例的命令是:

oozie job -config /usr/share/doc/oozie/examples/apps/spark/job.properties -run

job.properties的内容:

nameNode=hdfs://cluster:8020
jobTracker=aleo-master-0:8021
master=yarn-cluster
queueName=default
examplesRoot=examples
oozie.use.system.libpath=true
oozie.wf.application.path=${nameNode}/user/${user.name}/${examplesRoot}/apps/spark

和 workflow.xml:

<workflow-app xmlns='uri:oozie:workflow:0.5' name='SparkFileCopy'>
<start to='spark-node' />

<action name='spark-node'>
    <spark xmlns="uri:oozie:spark-action:0.1">
        <job-tracker>${jobTracker}</job-tracker>
        <name-node>${nameNode}</name-node>
        <prepare>
            <delete path="${nameNode}/user/${wf:user()}/${examplesRoot}/output-data/spark"/>
        </prepare>
        <master>${master}</master>
        <name>Spark-FileCopy</name>
        <class>org.apache.oozie.example.SparkFileCopy</class>
        <jar>${nameNode}/user/${wf:user()}/${examplesRoot}/apps/spark/lib/oozie-examples.jar</jar>
        <arg>${nameNode}/user/${wf:user()}/${examplesRoot}/input-data/text/data.txt</arg>
        <arg>${nameNode}/user/${wf:user()}/${examplesRoot}/output-data/spark</arg>
    </spark>
    <ok to="end" />
    <error to="fail" />
</action>

<kill name="fail">
    <message>Workflow failed, error
        message[${wf:errorMessage(wf:lastErrorNode())}]
    </message>
</kill>
<end name='end' />

版本信息:

1. 星火 1.6.0
2. Oozie 4.1.0-cdh5.7.0

有没有人见过这个问题？我也尝试用我自己的工作流定义运行 SparkPi，但结果是一样的。

感谢您的帮助!

Answer 1

您是否尝试清理 sparks 暂存路径？ Spark 正在将给定 jar 的临时副本复制到其暂存 hdfs 路径中，并且可能无法区分其中两个具有相同名称的不同 jar。