python-3.x - gpt3微调openai不学习

Question

对于我的微调 jsonl 文件，我想要一个可以根据陈述预测说话者性别的模型。比如提示:“我今天去买裙子”，补全为“女”。

我创建了几个示例并将其交给 gpt3 进行微调。然后我将“我去商店接我妻子”这句话输入到生成的模型中。我希望得到性别作为回应，但我得到了一个关于从商店接我妻子的完整故事。

就好像 gpt-3 根本没有从我的微调中学到任何东西。

我有几个问题:

1. fine tuning 是否等同于在 openai playground 中编写几个示例并让 gpt-3 猜测接下来会发生什么？

2. 微调后，是否只为后续运行提示/完成时的代币付费？因此，如果我花费 100 美元在一百万个示例上训练一个模型，那么我只需为后续调用的个别提示/完成付费？

3. 例如，聊天机器人在 2 个聊天参与者来回交流之前带有上下文句子。比如“这是一个名叫约翰的粗鲁男人和一个名叫莎拉的年轻女孩之间的对话”。我如何将这样的上下文合并到 {"prompt":"...","completion":..."} 的微调结构中？

Answer 1

1. Open AI Fine Tuning 是在新数据集上使用预训练模型来提高模型在新数据集上的性能的过程。有一个特定的提示非常重要，这样微调模型才能确切地知道您正在训练什么。

2. 确切地说，微调的好处是您不必每次都为标准模型提示信息而付费。当然，它还提高了您特定用例的性能。

3. 对于这个例子，您可以在粗鲁的约翰和一个名叫莎拉的年轻女孩之间的整个长时间对话中训练它。但是，请记住您希望人工智能成为哪个“人”。

粗鲁的约翰“AI”:Lorem Ipsum莎拉:Lorem Ipsum训练长对话

但您还想训练 Rude John“AI”也能与他人交谈。