apache-spark - 有没有办法通过 web ui 提交 spark 作业？

Question

我从 flink 切换到 spark，我错过了通过 Web UI 提交作业的选项。



到目前为止，我每个命令行都提交了所有 Spark 作业。

有没有办法通过 Spark Web 界面提交作业？

Answer 1

是的，有一种方法可以通过 Web 应用程序触发 Spark 作业。

I tried this long back and I don't have exact documentation with me right now.

I will try to explain the steps as far as I remember, you can give a shot

您可以使用 oozie做同样的事情

创建 spark 作业并压缩到一个 fat jar 中并将其放入 hdfs

创建 shell 脚本以提交此 spark 作业并将此文件放入 hdfs

创建 job.properties和 workflow.xml oozie 专用

地点 workflow.xml文件到 hdfs

使用 job.properties 提交 oozie 作业

将您要用于触发 Spark 作业的 UI 应用程序部署到 oozie/webapp/ROOT

Web 应用程序将使用 oozie 休息服务与正在运行的 oozie 作业进行交互

现在通过浏览器访问您的 Web 应用程序，可能基于一些按钮单击您可以提交 spark 作业

更新:

找到 spark-jobserver library它有助于通过 REST 接口(interface)提交和监控 Apache Spark 作业。

希望这可以帮助你...

与往常一样，如果我的回答对您有帮助，请接受或投票... :)