gpt4 book ai didi

Vespa.ai 利用多个实例来回答查询

转载 作者:行者123 更新时间:2023-12-04 01:01:48 26 4
gpt4 key购买 nike

我有一个包含多个容器/内容节点的 Vespa.ai 集群。在 Vespa 加载数据后,我的应用程序发送查询并从 Vespa 获取数据。我想确保我能很好地利用所有节点,并尽可能快地获取数据。我的应用程序构建 HTTP 请求并将其发送到其中一个节点。
我应该将请求定向到哪个节点?如何确保所有实例都参与回答查询?
我应该怎么做才能利用所有集群节点?
Vespa 是否知道将这些请求负载均衡到其他实例以获得更好的性能?

最佳答案

Vespa 是一个 2 层系统:

enter image description here

容器将在content 节点上进行负载平衡(如果您有多个组),但是由于您要将请求发送到容器,因此您需要进行负载平衡在那些之上。

这可以通过您在客户端中编写的代码、VIP、您自己托管的另一层节点(例如 Nginx)或托管负载均衡器(例如 AWS ELB)来完成。

关于Vespa.ai 利用多个实例来回答查询,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/68095336/

26 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com