openai-api - GPT3 微调模型返回额外的问题和答案

Question

我已经使用 GPT3 微调了一个自定义数据集。我创建了一个简单的程序来接受用户输入(一个问题)并返回正确的响应。该程序可以运行，但它会从我上传到模型的数据集中返回其他问题和答案。

我试图降低最大 token 上限并将温度设置为 0，但我似乎无法弄清楚如何阻止程序返回额外的问题和答案。有没有人遇到过这个问题，如果遇到过，我该如何解决？

这是我的代码:

import openai

openai.api_key = "MY_API_KEY"

def respond(prompt):
    completions = openai.Completion.create(
        engine="MY_FINED_TUNED_MODEL",
        prompt=prompt,
        max_tokens=50,
        n=1,
        stop=None,
        temperature=0,
    )

    message = completions.choices[0].text
    return message

while True:
    prompt = input("Enter your question: ")
    if prompt.lower() == "end":
        break
    response = respond(prompt)
    print(response)

Answer 1

您可以通过向提示提供更明确的详细信息甚至在提示中提供一次性或多次示例来处理此问题。

例如，假设这是一家电脑商店的问答机器人:

question = 'Do you sell computers?'

prompt = f"""Act as a question and answer AI. You will be provided with a question and you should respond based on your fine-tuning data. Provide the most appropriate answer to the question. Provide a single answer. Do not provide additional questions and answers.

Example question:
Do you sell cars?

Example response:
Sorry, we are a computer retailer and only sell computers.

Question:
{question}

Response:"""

根据模型的响应，您还可以使用停止序列。例如，使用\r\n 会导致模型在生成新行时停止响应。

如果您提供有关从模型中获得的问题和响应类型的更多详细信息，我可以为您提供更好的提示。