scala - 如何将 "--deploy-mode cluster"选项添加到我的 Scala 代码中

Question

209/5000
你好
我想在我的代码 scala 中添加选项“--deploy-mode cluster”:

  val sparkConf = new SparkConfig ().setMaster ("spark: //192.168.60.80:7077")

不使用shell(命令.\Spark-submit)

我想在 Scala 中使用“spark.submit.deployMode ”

Answer 1

使用 SparkConfig:

//set up the spark configuration and create contexts
val sparkConf = new SparkConf().setAppName("SparkApp").setMaster("spark: //192.168.60.80:7077")

val sc = new SparkContext(sparkConf).set("spark.submit.deployMode", "cluster")

使用 SparkSession:

val spark = SparkSession
   .builder()
   .appName("SparkApp")
   .master("spark: //192.168.60.80:7077")
   .config("spark.submit.deployMode","cluster")
   .enableHiveSupport()
   .getOrCreate()