azure - 什么是 Azure 数据资源管理器？数据湖？数据仓库？

Question

正如标题所示，我对 Azure 数据资源管理器在 Azure 数据生态系统中的作用感到困惑。文档指出它是一个分析工具，但从技术上讲，它从不同来源(例如 kafka、spark 和 go on)获取数据。

它是某种增强型数据仓库吗？

TIA

Answer 1

"For our own troubleshooting needs we wanted to run ad-hoc queries onthe massive telemetry data stream produced by our service. Finding nosuitable solution, we decided to create one"

                            - Ziv Caspi Architect, Azure Data Explorer -

一旦我们确定了需求，我们就可以讨论实现。

以下是一些主要功能:

• 该服务是分布式的，可以轻松扩展(或缩小)，这使其非常适合大数据(根据您的需要而定)。
• 数据以批量/流的方式提取到服务中，并以适当的格式存储。
• 数据存储在表(列和行)中。
  列的数据类型包括bool、int、long、real、decimal、 日期时间和时间跨度以及对JSON(动态数据类型)的 native 支持。
• 所有内容都已编入索引，包括标记化的自由文本以及使用全文搜索索引进行索引的自由文本，这意味着我们可以在亚秒 - 秒内找到具有特定标记的行。
• 数据以柱状格式存储，这非常适合大容量聚合。
• ADX 拥有自己的高度直观的查询语言 KQL(Kusto 查询语言)，它支持包括分布式联接在内的众多分析功能。
• ADX 原生支持时间序列，并具有许多内置功能(预测、异常检测等)。
• 由于创建该服务是为了处理遥测，并且遥测不会随时间变化，因此该服务被创建为仅附加(插入)+内置数据保留支持。
  后来又添加了软删除和硬删除。
  截至今天，不支持更新。

这里有一些补充阅读:

• Ziv Caspi: Azure Data Explorer Technology 101
• Brian Harry: Introducing Application Insights Analytics
• Uri Barash: Azure Announcements: Azure Data Explorer