hadoop - 我可以在ozie中将py spark作为shell工作运行吗？

Question

我有可以通过spark-submit运行的python脚本。我需要在Oozie中使用它。

<!-- move files from local disk to hdfs -->
<action name="forceLoadFromLocal2hdfs">
<shell xmlns="uri:oozie:shell-action:0.3">
  <job-tracker>${jobTracker}</job-tracker>
  <name-node>${nameNode}</name-node>
  <configuration>
    <property>
      <name>mapred.job.queue.name</name>
      <value>${queueName}</value>
    </property>
  </configuration>
  <exec>driver-script.sh</exec>
<!-- single -->
  <argument>s</argument>
<!-- py script -->
  <argument>load_local_2_hdfs.py</argument>
<!-- local file to be moved-->
  <argument>localPathFile</argument>
<!-- hdfs destination folder, be aware of, script is deleting existing folder! -->
  <argument>hdfFolder</argument>
  <file>${workflowRoot}driver-script.sh#driver-script.sh</file>
  <file>${workflowRoot}load_local_2_hdfs.py#load_local_2_hdfs.py</file>
</shell>
<ok to="end"/>
<error to="killAction"/> 
</action>

脚本本身通过driver-script.sh运行良好。通过oozie，即使工作流程的状态为SUCCEEDED，文件也不会复制到hdfs。我找不到任何错误日志或与pyspark作业相关的日志。

我还有一个关于oozie here禁止Spark记录日志的主题

Answer 1

在开始时将脚本设置为set -x，这将向您显示脚本的哪一行。您可以在stderr中看到它们。

您能否详细说明未复制文件的含义？为您提供更好的帮助。