azure - 使用 Azure 数据湖进行分析

Question

目前，作为我们要求的一部分，我们正在使用以下 Azure 组件

• Azure 事件中心

• Azure 流分析

• Azure 表存储

• Azure Sql DB

基本上，通过前 3 个组件，我们将构建一个分析和报告平台。

目前，我们刚刚开始分析来自 Azure 表存储的数据并将其显示在分析仪表板中。

最近我们遇到了一个新的Azure产品Azure Data Lake 。在微软网站上做了一些研究，我们可以看到我们可以轻松地将数据从Azure表存储(在Azure数据工厂的帮助下)迁移到Azure Lake Store。 Creating big data pipelines using Azure Data Lake and Azure Data Factory

当我们浏览上面的链接时，提到我们需要创建一个 Azure Data Lake Analytics 管道来处理数据。

因此，目前尚不清楚分析输出数据将保存在哪里。我们需要将分析输出保存到某个数据库吗？或者我们可以通过 Http 请求进行实时分析吗？

我们在 Azure 表存储中拥有大量记录，这些记录将移动到 Azure Data Lake。对于这种情况，这是一个不错的选择吗？或者我们可以从 Azure 表存储本身采用基于分析的解决方案吗？

请分享您的想法

Answer 1

您可以将分析输出数据通过 Azure Data Lake Analytics(一种分析服务，使您能够在数据集上运行作业，而无需考虑集群。)

正如您所说，“我们在 Azure 表存储中拥有大量记录，这些记录将移动到 Azure 数据湖。”，我认为对 Azure 数据湖存储上的数据执行分析效率更高，因为它提供无限的存储空间可以立即对其进行读/写访问，并扩展工作负载所需的吞吐量。它还为大数据集提供低延迟的小写入。所以我相信它是比 Azure 表存储更好的选择。