apache-spark - Spark : How to set deploy mode on code?

Question

我知道可以在 spark-submit 脚本中设置集群模式。但我想通过代码或可执行选项(例如 java -Dspark.submit.deploymode=cluster ~~)在应用程序上进行设置。

我想在集群模式下运行我的 spark 应用。

Answer 1

如果您不想使用 spark-submit 命令，并且想使用您自己的 Java 代码启动 Spark 作业，那么您将需要使用 Spark Java API，主要是 org.apache.spark.launcher包裹: Spark 1.6 Java API Docs

以下代码取自链接并稍作修改。

import org.apache.spark.launcher.SparkAppHandle;
import org.apache.spark.launcher.SparkLauncher;

public class MyLauncher {
 public static void main(String[] args) throws Exception {
   SparkAppHandle handle = new SparkLauncher()
     .setAppResource("/my/app.jar")
     .setMainClass("my.spark.app.Main")
     .setMaster("XXX") // Master URL based on doc in [2]
     .setDeployMode("cluster")
     .setConf(SparkLauncher.DRIVER_MEMORY, "2g")
     .startApplication();
   // Use handle API to monitor / control application.
 }
}