rest - 使用 REST 触发 Spark 作业

Question

我最近一直在尝试 apache spark .我的问题更具体到触发 Spark 作业。 Here我发布了关于理解 Spark 工作的问题。在工作弄脏之后，我转向了我的要求。

我有一个 REST 端点，在那里我公开 API 以触发作业，我使用 Spring4.0 进行 Rest 实现。现在继续我想在 Spring 中实现 Jobs as Service，我将在其中以编程方式提交 Job，这意味着当端点被触发时，我将使用给定的参数触发作业。
我现在的设计选择很少。

类似于下面写的作业，我需要维护几个被抽象类调用的作业，可能是 JobScheduler .

 /*Can this Code be abstracted from the application and written as 
  as a seperate job. Because my understanding is that the 
 Application code itself has to have the addJars embedded 
 which internally  sparkContext takes care.*/

 SparkConf sparkConf = new SparkConf().setAppName("MyApp").setJars(
 new String[] { "/path/to/jar/submit/cluster" })
 .setMaster("/url/of/master/node");
  sparkConf.setSparkHome("/path/to/spark/");

        sparkConf.set("spark.scheduler.mode", "FAIR");
        JavaSparkContext sc = new JavaSparkContext(sparkConf);
        sc.setLocalProperty("spark.scheduler.pool", "test");

    // Application with Algorithm , transformations

扩展以上点具有由服务处理的多个版本的作业。

或者使用 Spark 作业服务器来执行此操作。

首先，我想知道在这种情况下什么是最佳解决方案，明智的执行和明智的扩展。

备注 :我使用的是来自 spark 的独立集群。
请帮助。

Answer 1

只需使用 Spark JobServer
https://github.com/spark-jobserver/spark-jobserver

制作服务需要考虑很多事情，Spark JobServer 已经涵盖了其中的大部分内容。如果您发现不够好，应该很容易提出请求并将代码添加到他们的系统中，而不是从头开始重新发明