apache-spark - spark.conf.set ("spark.driver.maxResultSize", '6g' ) 没有更新默认值 - PySpark

Question

我正在尝试将 spark.driver.maxResultSize 值更新为 6g，但该值未得到更新。

spark.conf.set("spark.driver.maxResultSize", '6g')

注意:我在 Azure Databricks Notebook 中运行此命令。

Answer 1

在 Spark 2.0+ 中，您应该能够使用 SparkSession.conf.set 方法在运行时设置一些配置选项，但它主要限于 SQL 配置。由于您正在尝试更新 spark.driver 的 conf，因此您需要使用新的 SparkSession.builder.getOrCreate 新 session >conf(如果您正在运行)。如:

import pyspark

sc = spark.sparkContext
conf = pyspark.SparkConf().setAll([("spark.driver.maxResultSize", '6g')])

# here you stop the old spark context with old conf
sc.stop()
sc = pyspark.SparkContext(conf=conf)

或者，您可以使用预定义的配置getOrCreate 新 session ，例如来自 YAML 文件或代码。然后你可以自己检查新的 conf 使用

sc.getConf().getAll()