amazon-web-services - 在AWS EMR集群上使用SparkLauncher时缺少SPARK_HOME

Question

我正在将EMR 5.0与Spark 2.0.0一起使用。
我正在尝试使用org.apache.spark.launcher.SparkLauncher从Scala spark应用程序运行子spark应用程序

我需要使用setSparkHome设置SPARK_HOME:

 var handle = new SparkLauncher()
    .setAppResource("s3://my-bucket/python_code.py")
    .setAppName("PythonAPP")
    .setMaster("spark://" + sparkSession.conf.get("spark.driver.host") +":"+ sparkSession.conf.get("spark.driver.port"))
    .setVerbose(true)
    .setConf(SparkLauncher.EXECUTOR_CORES, "1")
    .setSparkHome("/srv/spark") // not working
    .setDeployMode("client")
    .startApplication(
      new SparkAppHandle.Listener() {

        override def infoChanged(hndl: SparkAppHandle): Unit = {
          System.out.println(hndl.getState() + " new  state !")
        }

        override def stateChanged(hndl: SparkAppHandle): Unit = {
          System.out.println(hndl.getState() + "    new  state !")
        }
      })

在哪里可以找到我的Spark Home的适当路径？
该集群是从1个主服务器，1个核心服务器和1个任务服务器构建的。

谢谢!

Answer 1

从emr-4.0.0开始，EMR上的所有应用程序都在/usr/lib中。 Spark在/usr/lib/spark中。