apache-spark - 在 spark-submit 命令行上设置 hadoop 配置值

Question

我们要设置 aws来自代码的参数将通过 SparkContext 完成:

sc.hadoopConfiguration.set("fs.s3a.access.key", vault.user)
sc.hadoopConfiguration.set("fs.s3a.secret.key", vault.key)

但是，我们有一个自定义 Spark 启动器框架，需要通过 --conf 完成所有自定义 Spark 配置。 spark-submit 的参数命令行。

有没有办法“通知” SparkContext 设置 --conf值到 hadoopConfiguration而不是它的一般 SparkConf ?寻找类似的东西

spark-submit --conf hadoop.fs.s3a.access.key $vault.user --conf hadoop.fs.s3a.access.key $vault.key

或者

spark-submit --conf hadoopConfiguration.fs.s3a.access.key $vault.user --conf hadoopConfiguration.fs.s3a.access.key $vault.key

Answer 1

您需要在 Hadoop 配置前加上 spark.hadoop.在命令行(或 SparkConf 对象)中。例如:

spark.hadoop.fs.s3a.access.key=value