java - 如何将 Apache Spark 与 Spring MVC Web 应用程序集成以实现交互式用户 session

Question

我正在尝试使用 Apache Spark MLlib 构建电影推荐系统。我已经用 java 编写了一个推荐器代码，当使用 spark-submit 命令运行时它工作正常。

我的运行命令是这样的

bin/spark-submit --jars/opt/poc/spark-1.3.1-bin-hadoop2.6/mllib/spark-mllib_2.10-1.0.0.jar --class "com. recommender.MovieLensALSExtended"--master local[4]/home/sarvesh/Desktop/spark-test/recommender.jar/home/sarvesh/Desktop/spark-test/ml-latest-small/ratings.csv/home/sarvesh/桌面/spark-test/ml-latest-small/movies.csv

现在我想在现实世界场景中使用我的推荐器，作为一个 Web 应用程序，我可以在其中查询推荐器以给出一些结果。

我想构建一个 Spring MVC web 应用程序，它可以与 Apache Spark Context 交互并在询问时给我结果。

我的问题是如何构建一个与集群上运行的 Apache Spark 交互的应用程序。因此，当请求到达 Controller 时，它应该接受用户查询并获取与控制台上 spark-submit 命令输出相同的结果。

据我搜索，我发现我们可以使用 Spark SQL，与 JDBC 集成。但是我没有找到任何好的例子。

提前致谢。

Answer 1

只需在 Spring 中将 spark 上下文和 session 作为 bean 传递

@Bean
public SparkConf sparkConf() {
    SparkConf sparkConf = new SparkConf()
            .setAppName(appName)
            .setSparkHome(sparkHome)
            .setMaster(masterUri);

    return sparkConf;
}

@Bean
public JavaSparkContext javaSparkContext() {
    return new JavaSparkContext(sparkConf());
}

@Bean
public SparkSession sparkSession() {
    return SparkSession
            .builder()
            .sparkContext(javaSparkContext().sc())
            .appName("Java Spark Ravi")
            .getOrCreate();
}

类似的基于xml的配置

此处提供了带有 spring 和 spark 的完整工作代码

https://github.com/ravi-code-ranjan/spark-spring-seed-project