azure-data-lake - 从数据 block 连接到数据湖(ADLS Gen2)存储时出错

Question

我正在尝试从 databricks python 连接到 dataLake Gen2 存储，不幸的是我遇到了错误。

代码:

dbutils.fs.ls("abfss://<fsystem name>@<storage name>.dfs.core.windows.net/<folder name>")

错误信息:

Configuration property .dfs.core.windows.net not found.

我怀疑是不是和我的挂载代码有关？此外，我使用存储资源管理器将租户 ID 添加到容器“管理访问”。

这是我的挂载代码:

configs = {"fs.azure.account.auth.type": "OAuth",
       "fs.azure.account.oauth.provider.type": "org.apache.hadoop.fs.azurebfs.oauth2.ClientCredsTokenProvider",
       "fs.azure.account.oauth2.client.id": "<client ID>",
       "fs.azure.account.oauth2.client.secret":  "secret",
       "fs.azure.account.oauth2.client.endpoint": "https://login.microsoftonline.com/directory id/oauth2/token"}
dbutils.fs.mount(  source = "abfss://filesystem name@<storage name>.dfs.core.windows.net/",  mount_point = /mnt/soldel",  extra_configs = configs)

装载代码运行良好，没有错误。请建议

Answer 1

注意:如果不使用 Databricks 配置存储帐户，则无法访问 Azure Data Lake Gen2 帐户。

这是预期的错误消息，因为您尚未使用数据 block 配置存储帐户以列出文件系统。

请查看报错信息，查看Databricks中list filesystem的正确过程。

更多详细信息，请参阅“Databricks - Azure Data Lake Storage Gen2”。

希望这对您有所帮助。