apache-spark - 如何在数据 block 中设置环境变量？

Question

简单的问题，但我找不到有关如何在 Databricks 中设置环境变量的简单指南。此外，在驱动程序和执行程序上设置环境变量是否重要(您是否会通过 spark.conf 执行此操作)？谢谢

Answer 1

创建前:

您可以在创建集群时设置环境变量。

点击高级选项 => 输入 环境变量 .



创建后:

选择您的 集群 => 点击 编辑 => 高级选项 => 编辑或输入新 环境变量 => 确认重启 .



或

您可以通过将我的环境变量声明附加到文件/databricks/spark/conf/spark-env.sh 来获得所需的结果。您可以按如下方式更改 init 文件:

%scala
dbutils.fs.put("dbfs:/databricks/init/set_spark_params.sh","""
  |#!/bin/bash
  |
  |cat << 'EOF' > /databricks/driver/conf/00-custom-spark-driver-defaults.conf
  |[driver] {
  |  "spark.sql.sources.partitionOverwriteMode" = "DYNAMIC"
  |}
  |EOF
  """.stripMargin, true)

更多详情请引用“ Databricks – Spark Configuration ”。

希望这可以帮助。