azure - 在 HDInsight 群集上远程执行 Spark 作业

Question

我正在尝试从 Microsoft Azure 在 HDInsight 群集上自动启动 Spark 作业。我知道有几种方法可以自动提交Hadoop作业(由Azure本身提供)，但到目前为止我还没有找到一种远程运行Hadoop作业的方法。 em>Spark 作业，无需使用主实例设置 RDP。

有什么办法可以实现这一点吗？

Answer 1

Spark-jobserver 提供了一个 RESTful 接口(interface)，用于提交和管理 Apache Spark 作业、jar 和作业上下文。

https://github.com/spark-jobserver/spark-jobserver

我的解决方案是使用 Scheduler 和 Spark-jobserver 定期启动 Spark-job。