python - 在 PySpark 中以编程方式设置驱动程序的内存大小

Question

为了编写独立脚本，我想直接从 Python 启动和配置 Spark 上下文。使用 PySpark 的脚本，我可以设置驱动程序的内存大小:

$ /opt/spark-1.6.1/bin/pyspark
... INFO MemoryStore: MemoryStore started with capacity 511.5 MB ...
$ /opt/spark-1.6.1/bin/pyspark --conf spark.driver.memory=10g
... INFO MemoryStore: MemoryStore started with capacity 7.0 GB ...

但是从Python模块启动context时，无法设置driver的内存大小:

$ export SPARK_HOME=/opt/spark-1.6.1                                                                                                                                                                                                                                                                                                                
$ export PYTHONPATH=$PYTHONPATH:$SPARK_HOME/python
$ python
>>> from pyspark import SparkConf, SparkContext
>>> sc = SparkContext(conf=SparkConf().set('spark.driver.memory', '10g'))
... INFO MemoryStore: MemoryStore started with capacity 511.5 MB ...

我知道的唯一解决方案是在sparks-default.conf 中设置spark.driver.memory，这并不令人满意。如 this post 中所述，一旦 JVM 启动，Java/Scala 就无法更改驱动程序的内存大小是有意义的。在导入 pyspark 模块之前或之时，有没有办法以某种方式从 Python 动态配置它？

Answer 1

像你这样使用 conf 是没有意义的。尝试将此序言添加到您的代码中:

memory = '10g'
pyspark_submit_args = ' --driver-memory ' + memory + ' pyspark-shell'
os.environ["PYSPARK_SUBMIT_ARGS"] = pyspark_submit_args