azure-cognitive-services - Azure OpenAI gpt-35-turbo 不确定，温度为 0

Question

我注意到，即使我将温度设置为 0，我在“Azure AI Studio”上部署的 gpt-35-turbo 也无法对聊天完成提示给出一致的响应。提示越长，我看到的不一致就越多.

我认为将温度设置为 0 意味着一致(确定性)响应(给定相同的模型)。是不是这样？

Answer 1

温度参数控制生成文本的随机性，而0值则确保最少随机或更具确定性的响应，它们不一定完全相同相同。

理想情况下，如果您想要确定性响应(例如跨设备/用户/等的相同输入)，那么响应缓存会有所帮助。

此外，虽然文档中不推荐，但您也可以使用 top_p 参数来进一步控制输出响应。这控制了下一个标记要考虑的可能标记集。

This discussion on the OpenAI forums讨论如何利用两者来为自己谋取利益并更好地控制模型的响应。