apache-spark - Databricks 中的 Spark 设置驱动程序内存配置

Question

我正在研究 Azure 数据 block 。我的驱动节点和工作节点规范是:14.0 GB 内存、4 核、0.75 DBU Standard_DS3_v2。

我的 pyspark notebook 因 Java 堆空间错误而失败。我在网上查了一下，一个建议是增加驱动程序内存。我正在尝试在笔记本中使用以下 conf 参数

spark.conf.get("spark.driver.memory")

获取驱动内存。但是我的笔记本电脑因错误而失败。

java.util.NoSuchElementException: spark.driver.memory

知道如何检查驱动程序内存并更改其值吗？

Answer 1

您可以在 Databricks 上设置集群时设置 spark 配置。当您创建集群并展开“高级选项”菜单时，您可以看到有一个“Spark Config”部分。在此字段中，您可以设置所需的配置。

有关更多信息，您可以随时查看文档 page Azure Databricks。