gpt4 book ai didi

azure - (Azure) 数据湖的元数据管理

转载 作者:行者123 更新时间:2023-12-01 13:39:27 25 4
gpt4 key购买 nike

据我了解,数据湖解决方案用于存储从原始格式的原始数据到处理后的数据的所有内容。不过,我无法理解(Azure)数据湖中元数据管理的概念。处理数据湖中的元数据的最佳实践是什么?

是否有任何机制可以自动读取元数据(例如从头文件中),如果有,是否有任何方法可以查看和编辑此元数据(也许是一个 API 以编程方式执行此操作)?我担心如果管理不善,“湖”就会变成“数据坟墓”。一种解决方案可能是创建一个自己的数据库,我自己在其中存储每个文件的元数据。还有其他更先进的方法吗?

最佳答案

这是一个相当广泛的问题,我将尽力回答。一般来说,您尝试按逻辑区域和可识别的所属团队来组织数据湖存储中的数据。可以在 Azure 数据目录中对数据进行编目,以便发现和丰富。目前我们没有任何自动功能将数据发布到数据目录中。数据所有者必须手动将其发布到 ADC。如果您对该领域的特定功能感兴趣,请在此处提交并投票:https://feedback.azure.com/forums/327234-data-lake

关于azure - (Azure) 数据湖的元数据管理,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/43039000/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com