azure - 我们可以一起使用 Microsoft Purview 和 Unity Catalog吗

Question

Unity Catalog 是 Lakehouse 的 Azure Databricks 数据治理解决方案。而 Microsoft Purview 提供了统一的数据治理解决方案，可帮助管理和治理本地、多云和软件即服务 (SaaS) 数据。

问题:在我们同一个 Azure Cloud 项目中，我们是否可以将 Unity Catalog 用于 Azure Databricks Lakehouse，并使用 Microsoft Purview 用于我们的 Azure 项目的其余部分？

更新:在我们当前的 Azure 订阅中，我们将工作负载划分如下:

1. SQL 相关工作负载:我们仅使用 Databricks 来完成所有 SQL 数据库工作(不涉及 Azure SQL 数据库)。也就是说，我们使用 Databricks Lakehouse、Delta Lake、Deatricks SQL 等来执行 ETL 和所有数据分析工作。
2. 所有非 SQL 工作负载:所有其他 Assets (Excel 文件、csv 文件、pdf、媒体文件等)都存储在各种 Azure 存储帐户中。

MS Purview 在扫描上述场景 2 中的 Assets 方面做得很好，它通过自动数据发现、敏感数据分类和端到端功能轻松创建了我们数据环境的整体、最新 map 数据沿袭。它还使我们的数据消费者能够访问有值(value)、值得信赖的数据管理。

但是，我们近 50% 的工作(SQL、ETL、数据分析等)是在 Azure Databricks 中完成的，我们在 Purview 方面面临着重大挑战。我们想知道是否可以将 Purview 和 Unity Catalog 分开，如下所示:Purview 仅针对场景 1 进行数据治理工作，而 Unity Catalog 仅针对场景 2 进行数据治理工作。

最近发布的更新可能会解决让 Purview 更好地与 Azure Databricks 配合使用的问题，但我们尚未尝试过:Connect to and manage Azure Databricks in Microsoft Purview (Preview)

Answer 1

截至目前，Unity Catalog 和 Purview 之间还没有正式集成，但将来可能会出现。您可以加入Azure Databricks roadmap webinar明天将获得更多信息。

关于实际问题 - 恕我直言，没有什么可以阻止您在同一个 Azure 项目中使用 UC 和 Purview。

附注您可以通过从 information schema tables 加载数据来将元数据和沿袭信息获取到 Purview 中。并使用 Purview API 将其存储在 Purview 中。