azure - 打开AI完成回复LENGTH

Question

我正在使用以下详细信息调用开放 AI api，并且收到以下响应

 {'value': {'outputs': [{'finishReason': 'LENGTH', 'text': '\n\nThe summary in this JSON format is as follows:\n\nshort_', 'generationTimestamp': 1689303489, 'trackingId': "Ê.\x00Õ!07´a'"}], 'modelId': 'TEXT_ADA_001'}}

我的参数:

 {
"model_max_tokens": 1024,
"model_id": "TEXT_DAVINCI_003",
"model_temperature": 0
}

提示文字长度为5903

响应不是完整的消息，完成原因是停止，如何处理此问题并获得所需的结果？

Answer 1

根据提供的信息，您似乎正在使用 TEXT_DAVINCI_003，并且提示 token 长度为 5903。

我已经用类似的提示标记长度重现了类似的场景。

模型的最大上下文长度为4097个 token (“completion_tokens”+“prompt_tokens”)，您的请求长度为6927(1024 + 5903)，高于允许的长度。

要解决此问题，请减少提示文本的长度。

如果您想使用更高的提示文本长度，您可以使用支持更高 token 长度的其他模型。请检查这个documentation了解其他型号的详细信息。