gpt4 book ai didi

azure - 我们可以一起使用 Microsoft Purview 和 Unity Catalog吗

转载 作者:行者123 更新时间:2023-12-02 23:07:10 24 4
gpt4 key购买 nike

Unity Catalog 是 Lakehouse 的 Azure Databricks 数据治理解决方案。而 Microsoft Purview 提供了统一的数据治理解决方案,可帮助管理和治理本地、多云和软件即服务 (SaaS) 数据。

问题:在我们同一个 Azure Cloud 项目中,我们是否可以将 Unity Catalog 用于 Azure Databricks Lakehouse,并使用 Microsoft Purview 用于我们的 Azure 项目的其余部分?

更新:在我们当前的 Azure 订阅中,我们将工作负载划分如下:

  1. SQL 相关工作负载:我们仅使用 Databricks 来完成所有 SQL 数据库工作(不涉及 Azure SQL 数据库)。也就是说,我们使用 Databricks Lakehouse、Delta Lake、Deatricks SQL 等来执行 ETL 和所有数据分析工作
  2. 所有非 SQL 工作负载:所有其他 Assets (Excel 文件、csv 文件、pdf、媒体文件等)都存储在各种 Azure 存储帐户中。

MS Purview 在扫描上述场景 2 中的 Assets 方面做得很好,它通过自动数据发现、敏感数据分类和端到端功能轻松创建了我们数据环境的整体、最新 map 数据沿袭。它还使我们的数据消费者能够访问有值(value)、值得信赖的数据管理。

但是,我们近 50% 的工作(SQL、ETL、数据分析等)是在 Azure Databricks 中完成的,我们在 Purview 方面面临着重大挑战。我们想知道是否可以将 Purview 和 Unity Catalog 分开,如下所示:Purview 仅针对场景 1 进行数据治理工作,而 Unity Catalog 仅针对场景 2 进行数据治理工作。

最近发布的更新可能会解决让 Purview 更好地与 Azure Databricks 配合使用的问题,但我们尚未尝试过:Connect to and manage Azure Databricks in Microsoft Purview (Preview)

最佳答案

截至目前,Unity Catalog 和 Purview 之间还没有正式集成,但将来可能会出现。您可以加入Azure Databricks roadmap webinar明天将获得更多信息。

关于实际问题 - 恕我直言,没有什么可以阻止您在同一个 Azure 项目中使用 UC 和 Purview。

附注您可以通过从 information schema tables 加载数据来将元数据和沿袭信息获取到 Purview 中。并使用 Purview API 将其存储在 Purview 中。

关于azure - 我们可以一起使用 Microsoft Purview 和 Unity Catalog吗,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/75229394/

24 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com