gpt4 book ai didi

NLP - 为文本生成指定自定义词汇/单词列表

转载 作者:行者123 更新时间:2023-12-05 06:16:08 32 4
gpt4 key购买 nike

我正在试验文本生成器,例如 OpenAI 的 GPT-2、Hugging Face 的转换器和 Facebook 的 ParlAI,我想知道我是否可以将输出限制或加权到指定的单词列表?例如,如何将输出限制为仅以字母“a”开头的单词?

一个明显的想法是在受词汇限制的数据集上进行训练,但我只有一长串单词,而不是只有这些单词的自然语料库。

最佳答案

是的,例如,如果您正在使用 huggingface,请查看 force_words_ids ( Generation )。这样,模型将仅使用您创建的 token ID 列表生成。

关于NLP - 为文本生成指定自定义词汇/单词列表,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/62206248/

32 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com