java - 从 java Spark 应用程序返回 List<>

Question

我已经构建了一个 Java 应用程序，它显示从数据库获取的数据。我已经构建了一个 JavaSpark 应用程序并将其构建为 jar。我通过 Spark Launcher 将输入作为参数提供给 Spark 应用程序。我的 javaSpark 应用程序从数据库中获取数据并将其存储为列表。如何将列表返回到我的主 Java 程序

Main.java:

    public Static void Main(String[] args){
    String query = select fname,lname from people;
    SparkLauncher sl = new SparkLauncher();
    sl.Launcher(query);
//program to read from text file and display
..
    }

SparkLauncher.java:

public Launcher(){
Process spark = null;

            spark = new SparkLauncher()
                    .setSparkHome("D:\\spark-1.4.1-bin-hadoop2.4")
                    .setAppResource("PeopleData-1.0.jar")                    
                    .addJar("D:\\mysql-connector-java-5.1.36.jar")                 
                    .addAppArgs(query)                    
                    .setMainClass("myapp.Main").setMaster("local[4]").launch();
 }  

到目前为止，我的 PeopleData.jar 运行并写入文本文件，我从 Main.java 读取文本文件并显示它。有没有办法让我的 PeopleData.jar 将列表返回到我的 Main.java 中，从而避免写入和读取的过程。

Answer 1

不要将 Spark 作为单独的进程启动，请使用 JavaSparkContext反而。

如果您确实必须将其作为进程启动，那么它是 Spark 应用程序并不重要。 JVM 进程之间的通信有许多不同的方式:请参阅 What is the best way for IPC in java?以及相关问题。