jupyter-lab - 什么是 OpenAI API 警告 : To avoid an invalid_request_error, best_of 设置为等于 n。什么是 "best of"？

Question

这个“最佳”警告是在运行 Win10 的 PC 上使用 OpenAI API 的结果。

上下文:

在 Jupyter Lab 中使用 OpenAI API 和 ir 内核，在此笔记本中仅安装了 rgpt3 库。

API 成功执行测试代码完成。而且无论 API 是发出单个还是多个 API 请求，都返回相同的警告。

使用 3 个查询时的结果如下:

[1] "Request: 1/3" To avoid an invalid_request_error, best_of wasset to equal n

[1] "Request: 2/3" To avoid an invalid_request_error, best_of wasset to equal n

[1] "Request: 3/3" To avoid an invalid_request_error, best_of wasset to equal n

在执行了多次不成功的网络搜索后——包括在 Stack Overflow 上搜索有关这些警告的信息，我发现几乎没有任何关于此警告的信息。现在这个过程可能还为时过早，因为 OpenAI API 对大多数人来说相对较新。

因此，决定发布有关此警告的问题和答案，否则查找此类信息非常困难且耗时。对于那些大胆前往以前很少有人去过的地方的用户来说，错误和警告消息不会激发信心。

Answer 1

警告消息后面的错误是关于什么的:

To avoid an invalid_request_error, best_of was set to equal `n

OpenAi 网站上的最佳实践指南提供了描述“best_of”含义的来源。此信息目前可在以下网站获得:

https://beta.openai.com/docs/guides/production-best-practices/improving-latencies

简而言之，“best_of” 是用于定义我们在使用 API 时希望从 OpenAI 网站获得什么的参数之一。使用 OpenAI API 涉及“ token ” - 这类似于 OpenAI 网站上用户使用量和速率限制的计量。此外，基于上下文长度，OpenAI 的大多数模型也有限制 - 大多数模型的最大上下文大小为 2048。

OpenAI 网站上的最佳实践指南建议如下:

Generate fewer completions: lower the values of n and best_of whenpossible where n refers to how many completions to generate for eachprompt and best_of is used to represent the result with the highestlog probability per token.

If n and best_of both equal 1 (which is the default), the number ofgenerated tokens will be at most, equal to max_tokens.

If n (the number of completions returned) or best_of (the number ofcompletions generated for consideration) are set to > 1, each requestwill create multiple outputs. Here, you can consider the number ofgenerated tokens as [ max_tokens * max (n, best_of) ]

Jupyter Notebook 的 OpenAI 网站上用于 Requests 的函数有一个 R 包装器，它发送带有参数范围的 Requests - 包括名为 best_of 的参数。函数中的 best_of 参数已经默认等于 1，只能手动更改。从函数中复制并粘贴此参数如下:

best_of = 1 

因此，只能推测OpenAI网站为每个API请求的每个“提示”自动生成“best_of”警告作为友好提醒。如果需要，可以通过编程忽略和删除此警告消息