gpt4 book ai didi

azure - 我们可以在 azure 中的多个 Azure openai 服务上使用 azure 负载均衡器吗

转载 作者:行者123 更新时间:2023-12-03 00:17:32 25 4
gpt4 key购买 nike

我在 azure 中有资源组。我创建了 3 个 Azure openai 服务,但我想知道是否可以在这 3 个应用程序服务上放置负载均衡器来平衡它们之间的负载,是否可以这样做?或者我需要应用哪种负载均衡器技术来平衡多个请求。

最佳答案

您可以使用 Azure 负载均衡器或 Azure 应用程序网关在应用程序的多个实例之间分配传入流量。您的所有三个开放人工智能服务都可以添加到后端池中。

  • 创建了负载均衡器并配置了虚拟网络, enter image description here enter image description here
  • 在 Azure 负载均衡器后端池中添加了两个开放 AI 服务, enter image description here
  • 您可以创建运行状况探测来监控后端实例的运行状况和延迟。
  • 在负载均衡器上定义规则,以定义如何在后端实例之间分配流量。 enter image description here

Azure 负载均衡器支持两种类型的分配算法:

1.循环分配:在所有健康实例之间均匀分配流量。

<强>2。源IP亲和性分发:根据客户端的源IP地址进行流量分发。

负载均衡 MS 的引用链接 document 1 ,女士document 2 .

关于azure - 我们可以在 azure 中的多个 Azure openai 服务上使用 azure 负载均衡器吗,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/76078413/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com