python - spark 2.1.0 session 配置设置 (pyspark)

Question

我正在尝试覆盖 spark session /spark 上下文默认配置，但它正在选择整个节点/集群资源。

 spark  = SparkSession.builder
                      .master("ip")
                      .enableHiveSupport()
                      .getOrCreate()

 spark.conf.set("spark.executor.memory", '8g')
 spark.conf.set('spark.executor.cores', '3')
 spark.conf.set('spark.cores.max', '3')
 spark.conf.set("spark.driver.memory",'8g')
 sc = spark.sparkContext

当我将配置放入 spark submit 时它工作正常

spark-submit --master ip --executor-cores=3 --diver 10G code.py

Answer 1

您实际上并没有使用此代码覆盖任何内容。只是为了让您自己看看，请尝试以下操作。

一旦你启动 pyspark shell 输入:

sc.getConf().getAll()

这将显示所有当前配置设置。然后尝试您的代码并再次执行此操作。没有任何变化。

您应该做的是创建一个新配置并使用它来创建 SparkContext。这样做:

conf = pyspark.SparkConf().setAll([('spark.executor.memory', '8g'), ('spark.executor.cores', '3'), ('spark.cores.max', '3'), ('spark.driver.memory','8g')])
sc.stop()
sc = pyspark.SparkContext(conf=conf)

然后你可以像上面一样检查自己:

sc.getConf().getAll()

这应该反射(reflect)您想要的配置。