python - 如何在交互式 PySpark session 中更改 SparkContext 属性

Question

如何在 pyspark 交互式 shell 中更改 spark.driver.maxResultSize？我使用了以下代码

from pyspark import SparkConf, SparkContext
conf = (SparkConf()
    .set("spark.driver.maxResultSize", "10g"))
sc.stop()
sc=SparkContext(conf)

但它给了我错误

AttributeError: 'SparkConf' object has no attribute '_get_object_id'

Answer 1

在 Spark 2.3.1 中更新配置

要更改默认的 spark 配置，您可以按照以下步骤操作:

导入需要的类

from pyspark.conf import SparkConf
from pyspark.sql import SparkSession

获取默认配置

spark.sparkContext._conf.getAll()

更新默认配置

conf = spark.sparkContext._conf.setAll([('spark.executor.memory', '4g'), ('spark.app.name', 'Spark Updated Conf'), ('spark.executor.cores', '4'), ('spark.cores.max', '4'), ('spark.driver.memory','4g')])

停止当前的 Spark session

spark.sparkContext.stop()

创建 Spark session

spark = SparkSession.builder.config(conf=conf).getOrCreate()