javascript - 确定OpenAI聊天完成是否执行函数调用或生成消息

Question

我目前在 NestJS 应用程序中有一个聊天功能，它使用 openai createChatCompletion API 根据用户输入生成消息并将响应流式传输回客户端。添加function calls对于 openai API 功能，我想选择执行函数调用，将记录保存在我的数据库中，保存后我想生成另一条消息并将响应流式传输到客户端。当没有生成函数调用时，我只想像当前一样标准地传输生成的消息。

问题是我必须在聊天完成的 API 调用中指定是否应流式传输响应，但我只希望在不返回函数调用时才流式传输响应。

感谢有关我如何在发送响应之前确定是否会生成函数调用或消息的任何建议。

Answer 1

如果您设置stream，聊天完成将流式传输函数调用。参数设置为 true，您可以在 blog 中看到这一点.

但是，您想要的是仅在不是函数调用时才使其流式传输。目前没有任何参数允许在聊天中进行类似的操作。但有一些潜在的解决方法。

对于解决方法，它部分取决于您的容错能力和确切的细节，因为您不完全知道模型将如何响应，因此很难在这里找到 Elixir 。

您有几种不同的选择。如果您的函数调用数量有限(4)，您可以尝试使用 stop参数允许您设置模型停止的 4 个序列。将序列设置为函数调用。当函数调用弹出时，您可以捕获它，执行您的函数，然后返回到另一个流调用。还有方法 interrupt a stream您可以进行流式传输，直到看到函数调用，然后中断并执行与上面相同的操作。

下面的示例，它可能需要一些摆弄，但这应该大致流式传输，直到遇到一个函数然后停止。如前所述，您可以执行该函数并根据您的具体用例和设置进行新的调用。

    messages = [{"role": "user", "content": "What's the weather like in Boston?"}]
    functions = [
        {
            "name": "get_current_weather",
            "description": "Get the current weather in a given location",
            "parameters": {
                "type": "object",
                "properties": {
                    "location": {
                        "type": "string",
                        "description": "The city and state, e.g. San Francisco, CA",
                    },
                    "unit": {"type": "string", "enum": ["celsius", "fahrenheit"]},
                },
                "required": ["location"],
            },
        }
    ]
    response = openai.ChatCompletion.create(
        model="gpt-3.5-turbo-0613",
        messages=messages,
        functions=functions,
        stop=["get_current_weather"]
        function_call="auto",  # auto is default, but we'll be explicit
    )

如果这些解决方案不起作用，您可以将函数调用的流参数默认为 false，但是当用户知道不太可能存在时，他们可以传入参数 true(反之亦然)，但有可能会出现这种情况可能会搞砸。

您也可以尝试预测它，有不同的方法可以做到这一点(关键词、额外的 ai/ml 模型)，但让它预测是否会有函数调用，并确定您所经历的路径。话虽这么说，这有时会是错误的。

如果您有特定的容错能力(例如您可以承受不每次都进行流式传输，但无法承受流式传输函数调用)，这可能会影响您的设计。对于这种情况，您可能不需要进行流式传输。