azure - 并行调用数百个 azure 函数

Question

我有一个使用某些规则引擎执行规则的应用程序。我有大约 500 多个规则，我们的应用程序将收到大约 10,000 个条目，所有这 10,000 个条目都应该单独经过这 500 条规则进行验证。我们目前计划将所有规则迁移到 Azure 函数中。也就是说，每个 Azure 函数都对应一个规则。

因此，我尝试进行概念验证，并使用 Task.delay 创建了几个 Azure 函数来模拟真实的规则验证。我需要为每个请求执行全部 500 条规则。因此，我创建了一个 Durable 函数作为协调器，使用 Task.WhenAll 调用所有 500 个事件触发器(规则)，但这不起作用。 Azure 函数仅因一个请求而挂起。因此，我为规则创建了单独的 HttpTrigger 函数。我在一个 C# 类库中使用 Task.WhenAll 调用了所有 500 个函数来处理一个请求，它的效果非常好。但是，当我尝试为所有条目(从 50 开始)调用 azure 函数时，Task.WhenAll 开始抛出错误，表示任务已取消或 HTTP 调用的 TimeoutException 。下面是代码:

var tasksForCallingAzureFunctions = new List<List<Task<HttpResponseMessage>>>();

Parallel.For(0, 50,  (index) =>
{
  var tasksForUser = new List<Task<HttpResponseMessage>>();

  //call the mocked azure function 500 times 
  for (int j = 0; j < 500; j++)
  {
    tasksForUser.Add(client.SendAsync(CreateRequestObject()));
  }

  //add the tasks for each user into main list to call all the requests in parallel.
  tasksForCallingAzureFunctions.Add(tasksForUser);
});

// call all the requests - 50 * 500 requests in parallel.
Parallel.ForEach(tasksForCallingAzureFunctions,  (tasks) => Task.WhenAll(tasks).GetAwaiter().GetResult());

所以我的问题是，这是推荐的方法吗？我正在进行 50 * 500 I/O 调用。要求是所有条目(10000)都应该经过500条规则。我认为的其他选项是将所有条目发送到每个 Azure 函数，以便 Azure 函数将具有循环遍历每个条目并验证它们的逻辑。这样我就只需要打 500 个电话？

请指教。

Answer 1

我将使用队列触发函数来实现这个场景。每个规则的每个实体发送一条队列消息，每个函数将选取一个，执行其工作并将结果保存到某个存储中。这应该比执行大量同步 HTTP 请求更具弹性。

现在，Durable Functions 基本上在幕后执行相同的操作，因此您走在正确的道路上。也许可以为您的悬挂问题添加一个以最少的重现性的新问题。