openai-api - 我的 JavaScript chatgpt openai 实现不断给我一个 HTTP 429

Question

下面是我的代码...我正在查看 openai 控制台上的 API 使用情况，但我远远低于限制。我一直没能得到成功的回应。我正在从他们的文档中复制代码。我不断收到 HTTP 429

const API_URL = "<https://api.openai.com/v1/chat/completions>";
const API_KEY = "YOUR_API_KEY";

const generate = async () => {

  try {
    // Fetch the response from the OpenAI API with the signal from AbortController
    const response = await fetch(API_URL, {
      method: "POST",
      headers: {
        "Content-Type": "application/json",
        Authorization: `Bearer ${API_KEY}`,
      },
      body: JSON.stringify({
        model: "gpt-3.5-turbo",
        messages: [{ role: "user", content: promptInput.value }],
      }),
    });

    const data = await response.json();
    resultText.innerText = data.choices[0].message.content;
  } catch (error) {
    console.error("Error:", error);
    resultText.innerText = "Error occurred while generating.";
  }
};

Answer 1

您可以通过查看标题来验证您达到的限制。

您可以检查网络选项卡或将 header 记录到控制台，例如:console.log(response) 或 console.log(response.headers)

然后在标题部分您应该看到类似以下内容:

headers: {
    ...
    'openai-model': 'gpt-4',
    'x-ratelimit-limit-requests': '200',
    'x-ratelimit-limit-tokens': '40000',
    'x-ratelimit-remaining-requests': '199',
    'x-ratelimit-remaining-tokens': '39691', 
    'x-ratelimit-reset-requests': '300ms',
    'x-ratelimit-reset-tokens': '463ms',
    ...
  },

您可能已经用完每分钟的所有请求或每分钟的 token 。具体来说是x-ratelimit-remaining-requestsx-ratelimit-remaining-tokens header 会通过它们为零(或接近零)来告诉您是否已达到限制。

为了更好地了解您的选择，请查看 OpenAI's documentation on rate limits 。它有大量有用的信息。

您还可以查看您帐户的特定速率限制 within your account area (login required) .

鉴于每个模型都有不同的配额，您可以考虑将工作负载分散到多个类似的模型上作为解决方法。其他一些选项包括限制您自己的代码、1 分钟后使用指数退避重试、发送更少的 token 、调整提示以返回更少的 token 、如果可能的话合并请求，甚至要求 OpenAi 提高速率限制。