gpt4 book ai didi

openai-api - GPT-2:如何加速/优化 token 文本生成?

转载 作者:行者123 更新时间:2023-12-02 22:45:22 27 4
gpt4 key购买 nike

我正在尝试使用简单的 GPT-2 生成 20 个 token 的文本。生成句子大约需要 15 秒。 AI Dungeon 生成相同大小的句子大约需要 4 秒。

有没有办法加快/优化 GPT-2 文本生成?

最佳答案

我认为他们的结果更快,因为他们的程序优化得更好,而且他们的计算能力更强。他们为服务器支付了很多费用。同样,Ai Dungeon 使用的 GPT-3 可能会更快。我也在为 GPT-2 的速度而苦苦挣扎。如果您有任何想法,请告诉我。干杯

关于openai-api - GPT-2:如何加速/优化 token 文本生成?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/71040945/

27 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com