gpt4 book ai didi

rasa-nlu - 如何使用 gunicorn 在多线程模式下运行 RASA Server

转载 作者:行者123 更新时间:2023-12-02 00:59:27 27 4
gpt4 key购买 nike

Rasa 服务器在使用单线程的服务器上运行良好。python -m rasa_nlu.server --path projects --emulate dialogflow --response_log logs

我正在尝试在服务器上运行它并希望启用多线程。根据 RASA 文档,(https://nlu.rasa.com/0.8.12/http.html)我正在尝试在命令下运行。

gunicorn -w 4 --threads 12 -k gevent -b 127.0.0.1:5000 rasa_nlu.wsgi

这给了我以下错误。

Log

请提出建议。

最佳答案

这不再可能了,您指向的 Rasa 文档是针对 0.8 版的,它们现在是 0.12 版。有几个因素导致了为什么取消对此的支持,主要是:

  • 语言模型的高内存使用率
  • 从 Flask 转移到 Klein 进行异步训练

这是一个包含更多信息的 Github 问题:https://github.com/RasaHQ/rasa_nlu/issues/793

如果您想要更高的/parse 请求总吞吐量,那么建议使用 Docker 结合 nginx 在同一台服务器上运行多个实例 - 如果服务器足够大可以处理它- 或者运行多个较小的实例,仍然使用 nginx 反向代理。

请注意,培训已转移到单独的流程中。可以使用 --max_training_processes 参数设置可用于训练的进程数。 Rasa 管道的一些组件也支持多线程。可以使用 --num_threads 参数设置可用于这些管道组件的线程数。

关于rasa-nlu - 如何使用 gunicorn 在多线程模式下运行 RASA Server,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/51643385/

27 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com