apache-spark - Spark 从多个配置文件加载设置

Question

Spark 从 $SPARK_HOME/conf/spark-defaults.conf 读取默认配置.

您还可以使用 --properties-file [FILE] 更改默认位置。使用(例如)时的命令行参数 spark-submit .

我想要做的是从文件加载额外的参数，而不必替换默认参数。也就是说，我希望 spark 从 spark-defaults.conf 加载属性并从另一个文件加载更多属性。现在，如果两者都定义了属性，我希望最后一个配置文件获胜。

这在 Spark 中是否默认支持？

Answer 1

tl;博士没有。

如 Spark documentation 中所述，这是配置的优先顺序:

“直接在 SparkConf 上设置的属性具有最高优先级，然后标志传递给 spark-submit 或 spark-shell，然后是 spark-defaults.conf 文件中的选项。”

鉴于此，我会使用 Typesafe Config在我的驱动程序代码中加载自定义配置文件并设置我直接在 SparkConf 上找到的任何内容.在那里设置的任何内容都将优先于其他地方的任何先前配置。