azure - 使用 Azure 提高 .Net core 分析应用程序的性能

Question

我们有一个使用 .net core 开发的分析应用程序，它结合了两个现有数据源的输出，然后响应客户对特定公司数据的请求。应用程序部署到 azure。其中一个数据源是另一个分析模型，它每天在午夜过后生成一个基准文件。另一个数据源是提供定价信息的内部 API。这些记录包含大约 30,000 家公司的数据，使用基准文件和定价数据进行计算大约需要 10 分钟。每个公司 5 分钟，结果(10KB 的 JSON)对该公司的所有请求都有效，直到第二天。我们正在努力减少处理时间/公司(理想情况下需要一两秒(最多))。

Azure 流分析/Azure 数据 block 是否有助于减少处理时间？

任何输入都会有帮助。谢谢

Answer 1

Azure 流分析是一项流处理服务。它以近乎实时(非常低的延迟)的方式将 SQL 中定义的业务逻辑应用于传入事件流。主要应用有:事件驱动架构、流式 ETL 和实时仪表板。

在这里，您批量处理数据(“每天一次”)，因此 Azure 流分析不是适合此用例的服务。

根据您想要使用哪种语言来表达业务逻辑，Azure Databricks、Azure 数据工厂和/或 Azure Synapse SQL 池是可供选择的主要工具。