gpt-3 - 我如何知道 GPT-3 请求使用了多少 token ？

Question

我正在围绕 GPT-3 构建一个应用程序，我想知道我发出的每个请求使用了多少 token 。这可能吗？如何实现？

Answer 1

OPEN-AI 通过代币对 GPT-3 的使用进行收费，这包括提示和答案。对于 OPEN-AI 750 个单词相当于大约 1000 个标记或标记与单词的比率为 1.4 。代币的定价取决于您所使用的计划。

我不知道有更准确的成本估算方法。也许使用 Hugging face 的 GPT-2 分词器会有所帮助。我知道来自 GPT-2 标记生成器的标记在传递给 logit 偏差数组中的 GPT-3 时会被接受，因此 GPT-2 标记和 GPT-3 标记之间存在一定程度的等价性。

但是 GPT-2 和 GPT-3 模型不同，众所周知，GPT-3 的参数比 GPT-3 多，因此 GPT-2 估计可能在 token 方面较低。我相信您可以编写一个简单的程序，通过比较提示和 token 使用情况来估算价格，但这可能需要一些时间。