scala - 如何在 spark yarn 集群模式下使用 --properties-file 选项加载额外的 spark 属性？

Question

我在 yarn 集群模式下使用 spark-submit 运行一个 spark 作业。为了在运行时提交输入和输出文件路径，我试图加载一个包含输入和输出路径的属性文件。

属性文件:input.properties

    spark.myapp.input /input/path    spark.myapp.output /output/path

我正在使用以下命令运行我的应用程序。

  `spark-submit --class Property --master yarn-cluster prop.jar --properties-file input.properties`

Scala 代码:

    import org.apache.spark.SparkConf    import org.apache.spark.SparkContext    import java.io.FileInputStream    import collection.JavaConversions._    import java.util.Properties;    object Property {      def main(args: Array[String]) {        val conf = new SparkConf().setAppName("myApp");        val sparkContext = new SparkContext(conf);        val input=sparkContext.getConf.get("spark.myapp.input")        println(input)        sparkContext.stop;      }    }

当我在本地和 yarn-client 模式下运行我的程序时，我能够访问这些属性。但是在 spark-submit 模式下，我遇到了异常。

    ERROR yarn.ApplicationMaster: User class threw exception: java.util.NoSuchElementException: spark.myapp.input

Answer 1

如果您使用 yarn ，请使用 --files input.properties。我有同样的问题，它解决了我的问题。