gpt4 book ai didi

openai-api - 有没有办法减少发送到 chatgpt (作为上下文)的 token 数量?

转载 作者:行者123 更新时间:2023-12-02 05:48:19 24 4
gpt4 key购买 nike

我正在使用 chatgpt 的 API 来讨论书籍主题。为了让 chatgpt 理解整个故事,我必须添加上下文。

这意味着所有用户问题和 chatgpt 回复均通过同一请求发送。因此很快就达到了最大支持代币限制。使用费也快速上涨。

请告诉我一种减少发送代币数量的简短方法,从而降低成本。

下面是我chatgpt请求的示例

enter image description here

最佳答案

我有两个解决方案

  1. 尝试学习 Langchain 。它会缩短你输入的内容。但是,我不知道它是否真的减少了chatgpt收取的 token ? https://js.langchain.com/docs/modules/chains/other_chains/summarization
  2. 如果对话无法满足模型的 token 限制,则需要以某种方式缩短对话。这可以通过对话历史记录的滚动日志来实现,其中仅重新提交最后 n 轮对话。

关于openai-api - 有没有办法减少发送到 chatgpt (作为上下文)的 token 数量?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/76563724/

24 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com