gpt4 book ai didi

azure - Azure 数据工厂是否适合从非 Azure REST API 下载数据?

转载 作者:行者123 更新时间:2023-12-03 05:07:51 24 4
gpt4 key购买 nike

考虑如下数据处理管道:

  1. 从托管在互联网上某处的 REST API 获取大量数据并将其保存到数据存储中。
  2. 对持久数据执行一些复杂的数据转换。
  3. 将数据转换的结果保留在数据存储中。

为了在 Azure 中实现这样的管道,步骤 2 和 3 似乎非常适合实现为 Azure Data Factory事件。

我的问题是 - 在 Azure 数据工厂事件中实现步骤 1 是否有意义?

从技术上讲,可以编写执行数据下载和持久性的 .Net 事件。

最佳答案

否 - 不在 Azure 数据工厂事件中实现步骤 1。

从技术上讲,可以从 ADF 运行整个过程,但我认为该选择(相对)比您可用的其他选项成本更高,因为您将pay for each activity in Azure Data Factory

例如,当您启动(计划的)事件时,如果其余 api 没有任何新数据可提供怎么办?你会为此付出代价。

您可能会将以下内容视为易于实现的替代方案:1 - 创建 .NET 控制台应用程序,发布为 WebJob,安排每天运行。2 - 长时间运行的控制台应用程序可以查询其余 api,将数据保存到 azure storage/documentdb,将消息推送到队列中,从而触发 ADF 步骤 2/3 以针对保存的数据运行。

关于azure - Azure 数据工厂是否适合从非 Azure REST API 下载数据?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/35845286/

24 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com