google-bigquery - 如何在 bigquery 中构建 View 以实现高效的访问管理

Question

在 BigQuery 中，您授予用户/角色(或授权 View )数据集级别而非 View /表级别的访问权限。我想解决的挑战是当我有数百个表和 View 以及许多不同的角色/部门时，如何管理 bigquery 中的访问控制？/p>

示例:假设我有一个源数据集，其中包含源表 A->D 和每个表的三个 View ，根据数据 1->3 的敏感性公开不同的字段。另外，我有三个角色(蓝色、绿色、红色)。如果我可以在表级别管理访问权限，它将如下所示:

查看:角色

• A1:蓝色、红色

• A2:红色

• A3:红色

• B1:蓝色、绿色、红色

• B2:绿色、红色

• B3:红色

• C1:绿色、红色

• C2:绿色、红色

• C3:红色

• D1:红色

• D2:红色

• D3:红色

鉴于这些要求，我无法仅基于敏感度 (1-3) 或来源 (A-D) 创建数据集并基于此管理访问权限。我能看到满足此要求的唯一解决方案是为每个角色生成一个数据集。如果角色和 View 的数量很少，这可以手动完成，但是当管理 10 个以上的角色和 50 个以上的 View 时，它变得更具挑战性。

我能想到的唯一解决方案是 CI/CD 设置(云构建)，其中包含定义数据集(即角色)、依赖项和 DDL 语句的文件。让脚本/程序遍历文件并生成 View 并授予对源的访问权限(授权 View )。示例文件:

{"roles":["crm_analyst", "admin", "customer_service_agent"],
"ddl":"CREATE VIEW `myproject.'{role}'.newview` AS SELECT column_1, column_2, column_3 FROM myproject.mydataset.myview",
"dependencies":"myproject.mydataset.myview"}

其他公司如何解决这个问题？已经迁移到 bigquery 的大型银行必须有大量的部门和不同的数据集敏感度。

Answer 1

我最终编写了一个 python 脚本，该脚本从 json 文件中读取 View 定义，然后生成数据集和 View 并提供正确的访问权限。该解决方案有点粗糙，可以使用依赖映射(当一个 View 查询另一个 View 时)而不是当前的解决方案迭代 View ，直到生成所有 View 或脚本不能再生成 View (依赖关系中断)。脚本每组生成两个数据集，一个带READER(后缀'_ro')，一个带WRITER(后缀'_rw')，确保数据组生成的 View 不可修改，同时给沙盒群组。该组应该是一个电子邮件组，数据集的名称将是电子邮件地址的本地部分。该脚本由 google cloud build 执行，并通过推送到我们的 github 存储库触发。

示例 View 定义(路径:views/view_test.json)

{
    "groups":["developers@datahem.org", "analysts@datahem.org"],
    "sql":"SELECT * FROM `{project}.shared_views.test_view`"
}

生成以下数据集(访问)和 View :

analysts_ro (analysts@datahem.org:READER):
- view_test

analysts_rw (analysts@datahem.org:WRITER):
(empty)

developers_ro (developers@datahem.org:READER):
- view_test

developers_rw (developers@datahem.org:WRITER):
(empty)

shared_views (analysts_ro.view_test:None, developers_ro.view_test:None):
- test_view

我制作了 python script作为 datahem 的一部分在 github 上作为开源提供，请随意克隆、改进和用于您自己的目的。