python - Chatgpt 与 Django 集成以实现并行连接

Question

我正在使用 Django 框架同时拥有多个 chatgpt 连接，但它会使完整的代码停止/关闭，直到 chatgpt 响应返回。

为了解决这个问题，我使用了 Django channel 的异步功能，但仍然阻止 Django 服务器来提供任何其他资源。

这是运行 Django 服务器的命令

daphne --ping-interval 10 --ping-timeout 600 -b 0.0.0.0 -p 8000 backend.gradingly.asgi:application

这是调用chatgpt的代码

model = "gpt-4-0314"
thread = threading.Thread(target=self.call_gpt_api, args=(prompt,model,context,))
thread.start()

这是向 channel 发送响应的 python 代码

async_to_sync(channel_layer.group_send)(
  f'user_{context["current_user"]}',{
    "type": "send_message", "text": json.dumps(json_data)
  }
)

Answer 1

如果你想使用异步，我建议使用这个 link这是关于Django 中的异步支持及其配置。

另一个解决方案是使用后台处理，如 celery 任务与 ChatGPT 的连接并在后台运行它们，并在请求发送到后台后响应请求，而不是等待 ChatGPT 的结果。这个link将是使用 Celery 和 Django 的一个很好的教程。