c# - Azure数据湖: How to get Processed files

Question

我刚刚开始使用数据湖，目前正在尝试找出真正的工作流程步骤以及如何自动化整个过程。假设我有一些文件作为输入，我想处理它们并下载输出文件，以便推送到我的数据仓库或/和 SSAS 中。

我发现绝对可爱API这一切都很好，但我找不到一种方法来获取目录中的所有文件名以进一步下载它们。

请纠正我对工作流程的看法。是否有另一种更优雅的方法来自动将所有处理后的数据(输出)存储到存储中(如传统的 SQL Server、SSAS、数据仓库等)？

如果您有基于数据湖的可行解决方案，请用几句话描述工作流程(从“原始”文件到最终用户的报告)。

这是我的 NET Core 应用程序示例

using Microsoft.Azure.DataLake.Store;
using Microsoft.IdentityModel.Clients.ActiveDirectory;
using Microsoft.Rest.Azure.Authentication;

<小时/>

            var creds = new ClientCredential(ApplicationId, Secret);
            var clientCreds = ApplicationTokenProvider.LoginSilentAsync(Tenant, creds).GetAwaiter().GetResult();
            var client = AdlsClient.CreateClient("myfirstdatalakeservice.azuredatalakestore.net", clientCreds);
            var result = client.GetDirectoryEntry("/mynewfolder", UserGroupRepresentation.ObjectID);

Answer 1

Say I have some files as an input and I would like to process them and download output files in order to push into my data warehouse or/and SSAS.

如果要将文件从azure datalake中的文件夹下载到本地路径，可以使用以下代码来执行此操作。

client.BulkDownload("/mynewfolder", @"D:\Tom\xx"); //local path

但根据我的理解，您可以使用 azure datafactory将数据从 Datalake 存储推送到 azure 存储 blob 或 azure 文件存储。