openai-api - OpenAI GPT-3 API : Does fine-tuning have a token limit?

Question

在 GPT-3 API 的文档中，它说要记住的一个限制是，对于大多数模型，单个 API 请求最多只能处理提示和提示之间的 2,048 个 token (大约 1,500 个单词)完成。

在微调模型的文档中，它说 你拥有的训练样本越多越好。我们建议至少有几百个示例。一般来说，我们发现数据集大小每增加一倍都会导致模型质量线性增加。

我的问题是，1,500 字的限制是否也适用于微调模型？ “数据集大小加倍”是指训练数据集的数量而不是每个训练数据集的大小吗？

Answer 1

据我了解...

GPT-3 模型有 token 限制，因为您只能提供 1 次提示，并且只能完成 1 次。因此，如官方所述OpenAI article :

Depending on the model used, requests can use up to 4097 tokens sharedbetween prompt and completion. If your prompt is 4000 tokens, yourcompletion can be 97 tokens at most.

然而，正如官方 OpenAI documentation 中所述，这样的微调没有 token 限制(即，您可以拥有一百万个训练示例，一百万个提示完成对) :

The more training examples you have, the better. We recommend havingat least a couple hundred examples. In general, we've found that eachdoubling of the dataset size leads to a linear increase in modelquality.

但是，每个微调提示完成对确实有一个 token 限制。每个微调提示完成对不应超过 token 限制。