python - 如何更改 Spark 设置以允许 spark.dynamicAllocation.enabled？

Question

我在 pyspark 中运行 python 脚本并收到以下错误:NameError: 名称 'spark' 未定义

我查了一下，发现原因是spark.dynamicAllocation.enabled还没有被允许。

根据 Spark 的文档 (https://jaceklaskowski.gitbooks.io/mastering-apache-spark/content/spark-dynamic-allocation.html#spark_dynamicAllocation_enabled):spark.dynamicAllocation.enabled(默认值:false)控制是否启用动态分配。假定 spark.executor.instances 未设置或为 0(默认值)。

由于默认设置为 false，我需要更改 Spark 设置以启用 spark.dynamicAllocation.enabled。

我用 brew 安装了 Spark，并且没有更改它的配置/设置。

如何更改设置并启用 spark.dynamicAllocation.enabled？

非常感谢。

Answer 1

Question : How can I change the setting and enable spark.dynamicAllocation.enabled?

您可以通过 3 个选项实现此目的。
1) 修改spark-defaults.conf
中下面提到的参数2) 从您的 spark-submit
从 --conf 发送以下参数3) 以编程方式指定动态分配的配置，如下所示。

您可以通过编程方式执行此操作您可以像这样以编程方式进行。

val conf = new SparkConf()
      .setMaster("ClusterManager")
      .setAppName("test-executor-allocation-manager")
      .set("spark.dynamicAllocation.enabled", "true")
      .set("spark.dynamicAllocation.minExecutors", 1)
      .set("spark.dynamicAllocation.maxExecutors", 2)
      .set("spark.shuffle.service.enabled", "true") // for stand alone