openai-api - 如何在 LlamaIndex 中支持 OpenAI 的 Chat Completions API 格式？

Question

我目前正在一个项目中使用 LlamaIndex，我正在尝试找到一种方法来支持 LlamaIndex 聊天引擎中 OpenAI 的聊天完成 API 使用的复杂提示格式。

OpenAI API 使用消息列表作为提示，其中每条消息都有一个角色(“系统”、“用户”或“助理”)和内容(消息文本)。这是一个例子:

{
  "model": "gpt-3.5-turbo",
  "messages": [{"role": "user", "content": "Hello!"}]
}

但是，当我在 LlamaIndex 中使用 CondenseQuestionChatEngine.from_defaults 函数时(根据此处的文档: https://gpt-index.readthedocs.io/en/latest/how_to/chat_engine/usage_pattern.html )，似乎 custom_prompt 参数没有不支持此上下文字符串格式:

chat_engine = CondenseQuestionChatEngine.from_defaults(
    query_engine=query_engine, 
    condense_question_prompt=custom_prompt,
    chat_history=custom_chat_history,
    verbose=True
)

此限制影响了我与模型进行更复杂交互的能力，特别是对于对话式 AI 应用程序。

有人有解决此问题的经验吗？或者有人可以提供一些关于如何在 LlamaIndex 中支持 OpenAI 的聊天完成 API 格式的指导吗？

任何帮助将不胜感激。

Answer 1

对于查询引擎和聊天历史记录，您可以将其添加到 Prompt 类和 text_qa_template 参数中，直到该功能集成到聊天引擎中