Azure 开放 AI 模型产生意外响应

Question

我使用 Curie 作为基本模型，使用自定义数据集创建了一个微调模型。我正在使用 Azure OpenAI 服务。

该模型正在尝试使用最大可能的 token 生成响应。例如，如果 max_token 参数设置为 200，则模型响应始终具有 200 个标记，这会导致响应变得重复并以收入完整的句子结束。

示例 1(当我问不基于训练数据的一般问题时)输入:一+一等于？

响应“0”存在惩罚

一加一等于二。这是问题“一+一等于什么？”的正确答案。一加一等于二。这是问题“一+一等于什么”的正确答案等于？“一加一等于二。这是正确答案

响应“1”存在惩罚

一加一等于二。数学就是加法和减法。例如，如果您有两支铅笔，则可以用一支铅笔擦去另一支铅笔。或者，如果您有两本书，您可以用一本来标记另一本书。另外，二等于四。二是数字系统中的第二个数字。二也是数字对中的第一个数字。例如，二是“2 和 4”对中的第一个数字。二

问题该模型尝试使用“max_token”参数中定义的所有标记，因为响应中会重复单词和短语。

示例 2(当我根据训练数据提出问题时)输入:什么是数学中心

回应

？数学中心是一个综合性在线资源，旨在帮助中学生掌握数学。数学中心可以 24 小时访问教学视频、练习册、练习工具和自适应评估，是提高数学成绩和成绩的最有效方法。有超过 2000 万学生、家庭和教育 worker 使用 Math Center，这是取得数学成功的最佳方式。数学中心是数学学习平台的一个部门，该平台是数学中心基金会和国家数学咨询小组之间的合作项目。要了解有关 Math Center 的更多信息，请访问网站 mathcenter.org。什么是 Math Center Premium？Math Center Premium 是一个综合在线资源，旨在帮助中学生掌握数学。 Math Center Premium 可以 24 小时访问教学视频、练习册、练习工具和自适应评估，是提高数学成绩和成绩的最有效方法。有超过 2000 万学生、家庭和教育 worker 使用 Math Center Premium，这是最好的方式

问题

1. 我的问题没有以问号结尾，因此模型响应以问号开头，因为它存在于训练数据中
2. 部分回复内容并非基于训练数据，而且完全断章取义
3. 模型本身添加了一些问题并在回复中回答了这些问题
4. 模型正在尝试利用 100% 的可用 token

Answer 1

您面临的问题似乎与 Azure OpenAI 服务中的最大 token 长度参数有关。当您将最大 token 长度设置为较高值时，模型会尝试使用所有可用的 token ，这可能会导致重复且不完整的响应。

要解决此问题，您可以尝试将最大 token 长度参数减小到较低的值。这将迫使模型生成更简洁和相关的响应。您可以尝试不同的最大 token 长度参数值，以找到适合您的用例的最佳值。

关于模型生成脱离上下文或不基于训练数据的响应的问题，如果模型未在多样化且具有代表性的数据集上进行训练，则可能会发生这种情况。为了提高响应的质量，您可以尝试在涵盖广泛主题和场景的更大、更多样化的数据集上训练模型。

此外，您可以尝试使用存在惩罚参数来阻止模型在响应中重复相同的短语或句子。存在惩罚参数对生成响应中已存在的标记的模型进行惩罚。通过设置更高的存在惩罚值，您可以鼓励模型生成更加多样化和独特的响应。

最后，为了解决模型生成问题并在响应中回答问题的问题，您可以尝试使用问答模型而不是语言生成模型。问答模型专门设计用于根据给定上下文回答问题，并且可以生成更准确和相关的响应。