gpt4 book ai didi

apache-spark - spark中首选哪些配置选项?

转载 作者:行者123 更新时间:2023-12-04 04:23:45 26 4
gpt4 key购买 nike

我想问一下spark中哪个配置选项优先?是配置文件还是我们在运行spark-submit shell时手动指定的选项?
如果我的配置文件中有不同的执行程序内存选项,并且我在运行 spark-submit shell 时指定了不同的值,该怎么办?

最佳答案

Spark (1.5.0) configuration page明确说明优先事项是什么:

Properties set directly on the SparkConf take highest precedence, then flags passed to spark-submit or spark-shell, then options in the spark-defaults.conf file.



所以这是优先级顺序(从高到低):
  • 在 SparkConf 上设置的属性(在程序中)。
  • 标志传递给 spark-submitspark-shell .
  • spark-defaults.conf 中设置的选项文件。
  • 关于apache-spark - spark中首选哪些配置选项?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/32600296/

    26 4 0
    Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
    广告合作:1813099741@qq.com 6ren.com