azure - 通过databricks列出azure存储帐户内的所有容器

Question

我想通过 databricks 从 azure 订阅中动态获取所有存储帐户和容器。
因此，我可以遍历容器中的每个文件并获取我之前完成的文件及其大小。
现在我想动态设置我的存储帐户和容器以从我的 databricks 环境中进行处理。

Answer 1

根据我的经验以及我对带有 databricks 的存储帐户中所有操作的理解，身份验证发生在 azure 存储帐户级别。在这种情况下，如果您尝试通过服务主体或存储帐户访问 key 访问存储帐户(两者都处于存储帐户级别)，您可以列出存储帐户中的容器。但我们没有选项列出存储帐户订阅内。作为解决方法，您可以使用 powershell 获取订阅中的存储帐户并将这些值传递给您的逻辑。

您可以使用以下代码来获取存储帐户中的容器列表。

from azure.storage.blob.blockblobservice import BlockBlobService
blob_service = BlockBlobService(account_name='storageaccount', account_key='accesskey')
containers = blob_service.list_containers()
for c in containers:
    print(c.name)