node.js - ChatGPT 按 block 读取 PDF

Question

关闭。这个问题需要多问 focused 。目前不接受答案。

---

想要改进此问题吗？更新问题，使其仅关注一个问题 editing this post .

已关闭 3 天前。

Improve this question

我创建了一个应用程序，可以解析 PDF 并根据 PDF 大小将其分成多个 block 发送到 ChatGPT。一旦我发送多个 block ，我就会收到相同问题的多个答案，每个 block 一个。我想知道，解析 PDF 的最佳方法是什么？保存 token 的最佳方法，并且在发送所有 block 后仅获得一个答案。

为了得到一个答案，我所做的就是将多个答案与问题进行比较并进行单词匹配。尽管如此，最佳答案通常并不完整，因为它只考虑发送的文本 block 。我所期望的是发送所有 block ，也许在最后一个用户问题中让 ChatGPT 将问题与所有 block 进行比较，但我现在完全受阻。

for (const chunk of chunks) {
      const instructionMessage: OpenAI.Chat.CreateChatCompletionRequestMessage =
      {
        role: "system",
        content: `...`,
      };

      const requests = await openai.chat.completions.create({
        model: "gpt-3.5-turbo-16k",
        messages: [instructionMessage, ...messages],
        temperature: 0.4,
      });
      response.push(requests.choices[0].message);
    }

...messages代表有问题的聊天以及之前的答案(如果存在)。

Answer 1

您应该使用 ai npm package by vercel 进行流式传输。链接中的示例代码:

import OpenAI from 'openai';
import { OpenAIStream, StreamingTextResponse } from 'ai';

const openai = new OpenAI({
  apiKey: process.env.OPENAI_API_KEY,
});

export const runtime = 'edge';

export async function POST(req) {
  const { messages } = await req.json();
  const response = await openai.chat.completions.create({
    model: 'gpt-4',
    stream: true,
    messages,
  });
  const stream = OpenAIStream(response);
  return new StreamingTextResponse(stream);
}