apache-spark - spark-submit 直到我按 ctrl+C 才退出

Question

我正在运行此 spark 命令以使用 Hortonworks vm 成功运行 spark Scala 程序。但是一旦工作完成，它不会退出 spark-submit 命令，直到我按下 ctrl+C。为什么？

spark-submit --class SimpleApp --master yarn-client --num-executors 3 --driver-memory 512m --executor-memory12m --executor-cores 1 target/scala-2.10/application_2.10-1.0.jar /user/root/decks/largedeck.txt 

这是代码，我正在运行。

/* SimpleApp.scala */
import org.apache.spark.SparkContext
import org.apache.spark.SparkContext._
import org.apache.spark.SparkConf

object SimpleApp {
  def main(args: Array[String]) {
    val logFile = "YOUR_SPARK_HOME/README.md" // Should be some file on your system
    val conf = new SparkConf().setAppName("Simple Application")
    val sc = new SparkContext(conf) 
    val cards = sc.textFile(args(0)).flatMap(_.split(" "))
    val cardCount = cards.count()
    println(cardCount)
  }
}

Answer 1

您必须在上下文中调用 stop() 才能干净地退出程序。