apache-spark - 无需提交Spark即可在集群上运行Spark代码吗？

Question

我想开发一个Scala应用程序，该应用程序连接一个主机并运行一段代码。我想在不使用spark-submit的情况下实现这一目标。这可能吗？特别是我想知道以下代码是否可以从我的机器上运行并连接到集群:

val conf = new SparkConf()
  .setAppName("Meisam")
  .setMaster("yarn-client")

val sc = new SparkContext(conf)

val sqlContext = new SQLContext(sc)
val df = sqlContext.sql("SELECT * FROM myTable")

...

Answer 1

添加一个conf
val conf = new SparkConf()
.setAppName("Meisam")
.setMaster("yarn-client")
.set("spark.driver.host", "127.0.0.1");