Azure Data Lake Storage Gen1 元数据(就文件夹结构和大小信息而言)导入 Power BI

Question

在 Azure 门户上 - 我有几个“Data Lake Storage Gen1”资源，我需要构建一个 Power BI 仪表板来显示1. 存储信息(资源上驻留有多少数据)2.文件夹级别的存储信息(至少直到Level-2)，如下所示父文件夹 (10TB) 子_文件夹_1 (3TB) 子_文件夹_2 (6TB) Sub_Folder_3(1TB)

此数据应在 Power BI 中显示为报告 - 以便我们可以让多个用户查看此数据。

我了解 - 目前 thsi 在 Azure 门户中可用 - 但这里要求一些平台和运营团队可以轻松地通过 Power BI Dashbaord 获取它 - 这样他们就不需要访问 Azure 门户并查看用于导航到此资源。

这可行吗？如果是，您能帮助我选择什么选项吗？我可以从 ADLS 检索此元数据，以及应在 Azure 门户中的资源上授予什么凭据/角色？

谢谢，阿拉文

Answer 1

您可以从 Azure Datalake Store API 获取元数据。更多详情请见链接

https://learn.microsoft.com/en-us/rest/api/datalakestore/webhdfs-filesystem-apis

它将返回一个 JSON 对象。

它将根据文件夹给出文件大小，并概述您所需的权限。我会设置一个数据流来访问 API，然后将返回的 JSON 转换为有用的内容。如果您正在使用 ADL 并使用 Azure Datalake Analytics 或 Azure Databricks，您还可以使用它们来获取文件夹列表并迭代它们以获取信息。