openai-api - 如何用ChatGPT批量汇总文本？

Question

我需要总结大量文本(每个文本本身)，目前正在这样做:

for text_to_summarize in all_text:
    response = openai.ChatCompletion.create(
        model="gpt-3.5-turbo",
        messages=[ 
            {"role": "user", "content": f"Summarize into one sentence: {text_to_summarize}"},
        ],
    )
    summary = response["choices"][0]["message"]["content"] 

但这非常慢(我有超过 30 万条文本)。

我在OpenAI网站上发现你可以使用 some models 进行批量处理，通过执行 openai.Completion.create，但我不知道如何使用 ChatGPT 执行此操作。

Answer 1

您可以尝试bulkgpt，它允许您并行运行大量chatgpt工作流程