hadoop - 在运行时(通过spark-submit)将一些hadoop配置添加到spark应用程序？

Question

我想将键值对发送到我的spark应用程序，如下所示:

mapreduce.input.fileinputformat.input.dir.recursive=true

我了解可以通过以下方式从代码中执行此操作:

sc.hadoopConfiguration.set("mapreduce.input.fileinputformat.input.dir.recursive","true")

但是我希望能够在运行时通过spark-submit发送此属性。这可能吗？

Answer 1

绝对!

spark-submit(以及spark-shell)支持--conf PROP=VALUE和--properties-file FILE选项，这允许您指定此类任意配置选项。然后，您可以使用SparkConf .get函数获取传递的值:

val conf = new SparkConf()

val mrRecursive =

conf.get("spark.mapreduce.input.fileinputformat.input.dir.recursive")
sc.hadoopConfiguration.set("spark.mapreduce.input.fileinputformat.input.dir.recursive", mrRecursive)

Spark-submit/spark-shell --help:

  --conf PROP=VALUE           Arbitrary Spark configuration property.
  --properties-file FILE      Path to a file from which to load extra properties. If not
                              specified, this will look for conf/spark-defaults.conf.

关于[动态]加载属性的Spark文档: https://spark.apache.org/docs/latest/configuration.html