java - 在 Apache Spark 中提交应用程序

Question

我是 Apache Spark 的新手，正在尝试创建一个简单的应用程序以在本地模式下运行它。我意识到它有像 spark-submit 这样的脚本来提交应用程序。

我正在寻找类似 Apache Storm 的东西LocalCluster.submitTopology() 以编程方式提交应用程序。请指出 Spark 中的等效 API。感谢对此的帮助。谢谢。

Answer 1

您可以使用SparkLauncher ，在 package summary该库描述如下:

This library allows applications to launch Spark programmatically. There's only one entry point to the library - the SparkLauncher class.

使用它，您可以像这样启动 Spark 应用程序:

import org.apache.spark.launcher.SparkAppHandle;
import org.apache.spark.launcher.SparkLauncher;

public class MyLauncher {
  public static void main(String[] args) throws Exception {
    SparkAppHandle handle = new SparkLauncher()
      .setAppResource("/my/app.jar")
      .setMainClass("my.spark.app.Main")
      .setMaster("local")
      .setConf(SparkLauncher.DRIVER_MEMORY, "2g")
      .startApplication();
    // Use handle API to monitor / control application.
  }
}

这为您提供了一个 SparkAppHandle 来控制您的 Spark 应用程序。也可以启动原始进程，但建议使用上面所示的方式。