gpt4 book ai didi

Rasa Agent 不支持超过 23 个请求/秒

转载 作者:行者123 更新时间:2023-12-04 14:59:43 24 4
gpt4 key购买 nike

当我们在部署到生产环境之前对 Rasa Agen 进行压力测试时,我们遇到它仅支持每秒 23 个请求,响应时间为 1 秒。

如果我们尝试将请求增加超过 23,则响应时间会逐渐增加;无论其硬件如何,它都会超过 5 秒。

有什么办法可以消除这个限制吗?

我在 Rasa 版本 2.1.2

最佳答案

我们做过类似的exercise对于 kAIron ,它在内部使用 rasa 2.1.2 并且不能有超过 23 个 req/seq;即使我们的聊天服务器实现使用仍在开发中的 tornado,我们也可以达到 32 个 req/seq 最大值,响应时间最多为 1 秒。

根据我们的经验,要实现更高的并发性,一种选择是在 Kubernetes 上部署 rasa 聊天服务器。与 horizontal scaling

关于Rasa Agent 不支持超过 23 个请求/秒,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/67212733/

24 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com