gpt4 book ai didi

Azure 数据资源管理器 (ADX) 与 Polybase 与 Databricks

转载 作者:行者123 更新时间:2023-12-03 20:25:33 26 4
gpt4 key购买 nike

问题

今天我发现了另一个 Azure 服务,名为 Azure Data Explorer (ADX) 。抱歉对这样的服务进行比较,我对除 ADX 之外的所有服务都有很好的了解。我觉得有一个很大的功能覆盖,所以想知道 ADX 在 Azure 基础设施中的确切作用。

当 ADX 明显优于 Synapse/Databricks 时,用例是什么?

我对ADX的理解

据我所知,ADX 是一个集群(按小时计费,如 Databricks 或 Synapse,而不是 ADLA),它为您处理数据库,并针对大规模流式摄取和即席查询进行了优化。它还支持外部表,但性能较差但更便宜(您需要为 Blob/ADLS 存储付费)。

详细信息

我不明白为什么我们需要 ADX,如果:

  1. Azure Synapse 具有类似的定价模型(集群、按小时),还支持大规模流式摄取和即席查询。 Azure Synapse 支持通过 Polybase 外部表查询 BlobStorage/ADLS。
  2. Databricks 是另一项能够做到这一点的服务。使用 Databricks Ingest 和 Delta Lake - 您可以摄取流数据并以流式和批处理方式使用它们。实际上,您可以拥有交互式集群来为您处理临时查询。
  3. 此外,如果您想要实时分析 - 请使用 Azure 流分析。如果您想要类似 Athena 的体验 - 使用 ADLA(但它仍然不支持 ADLS gen2)。

最佳答案

Azure 数据资源管理器专注于高速、高容量、高方差(大数据的 3V)。它对流入的此类数据提供超快速的交互式查询。它原生支持 json 和文本,包括全文搜索和索引。

它用于与大量垂直领域的传感事件和时间序列相关的广泛场景:物联网、API 日志、事务监控和临时数据探索。

Microsoft 提供 ADX 作为服务,因为它是 Microsoft 用于自己的遥测的主要服务,也是我们在安全、运营监控、游戏分析、产品洞察使用分析、物联网方面提供的所有分析解决方案作为服务,联网车辆基于 ADX 构建。您可以在我们的文档中找到完整列表。为了清楚起见,SQL、Synapse、CosmosDB 将其遥测数据存储在 Azure 数据资源管理器中...

SQL DW(又名 Synapse SQL 池)是一个优秀的数据仓库,实现了现代数据仓库模式。 ETL->策划数据模型->通过分析服务或强大的 BI 加载和服务。
ADX 用于实时分析,可以对几秒前的新鲜数据应用读取模式 (SOR)。

在替换用于日志、时间序列数据库等的基于 SOLR/Lucine 的变体时,请将 ADX 视为完全托管的平台。

在大型工作负载中尝试一下,您会发现它比替代方案便宜得多,而且功能更强大、性能更佳。

如果您需要帮助,请联系我。

关于Azure 数据资源管理器 (ADX) 与 Polybase 与 Databricks,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/62048884/

26 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com