openai-api - 我如何根据问答基准测试我的 openai 微调模型？

Question

我认为该文档仅解释了如何通过 API 使用该模型，但并没有太多的灵 active 和自动化。例如，我不知道如何根据 HuggingFace 的一些流行基准测试我的模型。

Answer 1

微调 Open AI 模型的一般流程包括创建帐户、拥有有效的 API key ，然后使用 CLI 工具上传数据以进行微调，如下所述:https://beta.openai.com/docs/guides/fine-tuning

然后要针对问题回答基准进行测试，例如 SQuAD，您只需下载数据集，创建一个接受问题的脚本(参见下面的 json 片段)并通过调用此处描述的 API(使用 curl)将数据提供给您的模型:https://beta.openai.com/docs/api-reference/making-requests

"question": "What century did the Normans first gain their separate identity?",
"id": "56ddde6b9a695914005b962c",
"answers": [
    {
        "text": "10th century",
        "answer_start": 671
    },
    {
        "text": "the first half of the 10th century",
        "answer_start": 649
    },
    {
        "text": "10th",
        "answer_start": 671
    },
    {
        "text": "10th",
        "answer_start": 671
    }
],
"is_impossible": false