基于 Azure 的方法向外部服务发送 100000 个请求

Question

每天晚上我都需要从外部http服务获取数据并将其保存到Azure Data Lake。实际上，我需要获得所有客户的所有订单。问题是现在有办法通过一次调用来获取这些数据。每次单独的调用都应提供客户 ID。

url 的格式类似于/api/ordersByCutomer/{cutomerId}

我需要获取 100 000 个不同客户的数据。这将导致对外部服务的 100 000 次调用。

我尝试在并行模式下将 Azure 数据工厂与 Foreach 事件结合使用，但每次调用需要 4 秒(队列中花费了 3 秒)。总体速度结果并不令人满意。

对此最好(我的意思是最快)的基于 Azure 的方法是什么(Azure 数据工厂除外)？

谢谢

Answer 1

你可以写一些asynchronous code并行访问 API/http 服务并使用 ADF 中的自定义事件执行此代码，该事件通过使用批处理帐户来完成此工作。 Use custom activities in an Azure Data Factory

此外，在执行任何操作之前，最好联系外部 http 服务的所有者/利益相关者，并查明该服务是否存在速率限制，以及该服务是否可以处理此类负载。