pyspark - 如何在 NoteBook 以外的 pyspark 作业中使用 dbutils 命令

Question

我想使用 dbutils 命令访问我的 pyspark 作业中的 secret ，该作业通过 Databricks 上作业中的 Spark-Submit 提交。使用 dbutils 命令时出现错误 dbutils not defined。

有没有办法在笔记本以外的 pyspark 作业中使用 dbutils？

尝试了以下解决方案:

1) 导入DBUtils，根据这个solution .但这不是 Databricks dbutils。

2) import pyspark.dbutils import DBUtils ，根据这个 solution .但这也行不通。

pyspark 作业如下图所示: image

Answer 1

我对你的问题的理解 - 如何从 Databricks notebook 的 keystore 访问 secret 值？
因此，要访问 key ，您必须将 Databricks notebook 链接到 keystore 。此链接必须使用范围来完成。
在下面的网址中，您必须提供详细信息:

https://westeurope.azuredatabricks.net/#secrets/createScope

如果您打开链接，您将进入一个 secret 范围创建页面: 链接可能因订阅地区/区域而异。就我而言，它是“西欧”。

您必须在页面上提供 3 个值:
1)范围名称
2) DNS 名称
3)资源ID

范围名称必须手动定义，其余两个值必须从 keystore 中复制。
现在转到您的 Azure key 保管库并单击属性部分。

复制 DNS 名称 和资源 ID 值并将其粘贴到范围创建页面的所需单元格中。

就是这样。现在，您的笔记本将指向您的 key 保管库。

我已经为我的范围指定了 az-kv-scope-test 名称。

假设我的 keystore 有一个名为 db_password 的 secret ，我想在我的笔记本中访问它。

因此，要从 Databricks notebook 中的 key 保管库访问 secret 值，我必须使用以下命令。

    // variable declaration and initialization.    
    val my_kv_scope = "az-kv-scope-test"    
    val password = dbutils.secrets.get(scope = my_kv_scope, key = "db_password")

以下链接将指导您获取有关 secret 范围的更多信息。
https://docs.databricks.com/security/secrets/index.html

我希望这能让您清楚地了解笔记本中的 Key-vault 值可访问性。