hadoop - 无法使用 Oozie 部署 Spark 作业

Question

我需要让 Spark 作业全天候运行 24/7，为此我正在使用 Oozie。为此，我编写了一个 workflow.xml 和 job.properties 文件，其中包含调用它所需的信息。

然而，当我尝试使用此发送 oozie 作业时:

oozie job –config /home/oozie/tst/job.properties -run

我收到以下错误消息，非常清楚:

java.io.IOException: configuration is not specified
        at org.apache.oozie.cli.OozieCLI.getConfiguration(OozieCLI.java:816)
        at org.apache.oozie.cli.OozieCLI.jobCommand(OozieCLI.java:1055)
        at org.apache.oozie.cli.OozieCLI.processCommand(OozieCLI.java:686)
        at org.apache.oozie.cli.OozieCLI.run(OozieCLI.java:639)
        at org.apache.oozie.cli.OozieCLI.main(OozieCLI.java:225)
configuration is not specified

这里的问题是配置文件 (job.properties) 在本地存在于指定的路径上。我还在 HDFS 中PUT包含文件和 .jar 的目录。

知道为什么会失败吗？

Oozie 是完成这项任务的最佳工具吗？

Answer 1

配置参数采用本地路径而不是 HDFS。检查 /home/oozie/tst/job.properties

中存在的 job.properties

检查 job.properties 包含 oozie.wf.application.path=PATH_TO_HDFS_PATH_WHERE_WORKFLOW.XML_IS_PRESENT

另外，我看到配置参数中的破折号 (-) 与运行参数中的破折号 (-) 不同