Azure:运行大量任务的最佳架构，每个任务需要 5 到 10 秒(从 Web api 触发)？

Question

为此，我们使用 Azure 服务，并且我们有一个在 Azue Web 服务应用程序上运行的 Web API (Flask)，连接到另一个服务中的 PostgreSQL(到目前为止一切顺利，尽管连接有点慢)。无论如何，用户执行的操作会触发流程。基本上，我们需要预处理数千条记录(1000 到 5000 条之间)，处理每条记录需要 5 到 10 秒。

我们考虑使用 Azure Functions 来实现此目的，并触发数千个 http 请求。但即使我们添加了更多实例，请求也不会并行化。看来他们在排队。我与 Azure 支持人员交谈，他们告诉我这可能不是最好的解决方案，因为 Azure 函数预计会快速运行，而不是花费几秒钟来执行。

所以我的问题是:在 Azure 上执行此类操作的最佳架构是什么？我读到了有关“事件网格”的内容，但我不知道(第一次使用 Azure)。基本的解决方案是拥有一个虚拟机，它可以接收参数并启动进程，但这太复杂了(而且我们团队中没有可以处理这个问题的 DevOps)。

提前致谢。

Answer 1

我强烈建议为此评估azure持久函数，运行时支持fan out自动意味着您可以非常轻松地获得大规模规模。确保与这些函数通信的系统也可以处理负载!

基本结构是，您启动一​​个协调器功能，然后该功能可以启动多个事件功能，如果需要，这些事件功能本身可以链接在一起，甚至再次展开。您引用的时间不会成为问题，请参阅 here 。您可以愉快地在消费计划上运行这一切。

当然，您需要考虑这里的成本，如果您确实使用消耗计划，您将按 Mb 秒付费，即成本与使用的内存和花费的时间成正比。