azure - 从 Databricks 到 Azure 存储帐户和容器的访问控制

Question

我们的 Databricks 工作区需要访问不同的数据集，但我们需要确保可以在角色或个人级别授予访问控制。这些数据集计划作为 Data Lake Gen2 上的文件提供，这些文件将被读入数据帧等。存储帐户中的这些文件可以按照适合访问权限的方式进行组织(每个数据集 1 个存储帐户 - 这可能会达到 256 个限制)很快 - 或每个容器 1 个数据集，因此存储帐户中有多个数据集)。

我们的架构准则要求通过服务主体进行访问。但是，我认为这将为 Databricks 工作区中的每个用户提供对不同存储帐户(数据集)的相同访问权限。

是否有另一种可行的解决方案，可以通过服务主体从 Databricks 访问存储帐户，但同时对单个用户或至少在角色级别的访问权限进行细粒度控制？这可以在容器级别实现还是仅在存储帐户级别实现？

我尝试使用服务主体从 Databricks 工作区中访问存储帐户，然后授予每个用户对存储帐户的访问权限。

Answer 1

通常，当用户处理数据时，会分两步进行:

1. 检查访问特定数据的权限
2. 在允许的情况下实际访问存储帐户中的数据

Databricks 完全支持此架构，具体如下:

• 如果您的组织已采用 Unity Catalog (UC)，那么很简单 - 您只需将存储帐户/容器添加为 external locations ，在这些位置创建数据表，然后向用户或(更好的)角色授予使用特定表的权限。将完成实际数据访问
• 如果您尚未采用 UC，那么您可以通过 Table Access Control 强制访问(TACL)。在这种情况下，您需要将服务主体附加到启用 TACL 的集群，但实际执行将由 TACL 服务执行，并且仅当用户/角色有权执行此操作时才会读取/写入数据。