azure - 在 databricks 笔记本中找不到导入库

Question

使用 Azure Devops 管道任务，我导入 azure.databricks.cicd.tools 库并安装 azure-identity 和 azure-keyvault-secrets。当我使用不记名 token 和集群 ID 将这些库添加到集群时，这些库可以很好地安装到集群上，但是当我运行笔记本时，它显示找不到导入模块。你能帮我看看我哪里出错了吗？

    - task: AzurePowerShell@5
      inputs:
        azureSubscription: xxxxx
        ScriptType: InlineScript
        Inline: |
          Install-Module -Name azure.databricks.cicd.tools -Force -Scope CurrentUser
        azurePowerShellVersion: LatestVersion   

    - task: AzurePowerShell@5
      inputs:
        azureSubscription: xxxxx
        ScriptType: InlineScript
        Inline: |
          Import-Module -Name azure.databricks.cicd.tools
          Add-DatabricksLibrary -BearerToken $(az-bearer-token) -Region $(az-region) -LibraryType "pypi" -LibrarySettings 'azure-identity' -ClusterId 'xxxxxx'
          Add-DatabricksLibrary -BearerToken $(az-bearer-token) -Region $(az-region) -LibraryType "pypi" -LibrarySettings 'azure.keyvault.secrets' -ClusterId 'xxxxx'
        azurePowerShellVersion: LatestVersion

接着是......

   - task: configuredatabricks@0
   - task: DataThirstLtd.databricksDeployScriptsTasks.databricksDeployScriptsTask.databricksDeployScripts@0
   - task: executenotebook@0 

Databricks notebook:
from azure.identity import ClientSecretCredential
from azure.keyvault.secrets import SecretClient
credential = ClientSecretCredential(directory_id, sp_client_id, sp_client_secret, 'login.microsoftonline.com')

Error message:

ImportError: No module named azure.identity

Answer 1

库的安装不是同步的 - 当您执行 Add-DatabricksLibrary 命令时，它会调用 Libraries REST API 的 install 端点，文档说:

The installation is asynchronous - it completes in the background after the request.

您可以使用 Cluster status REST API检查所有库是否都处于 INSTALLED 状态，并仅在此之后触发笔记本。 (我在 azure.databricks.cicd.tools 库中没有看到类似的功能)