gpt4 book ai didi

nlp - 拥抱脸 pytorch 变压器 : how to initialize embeddings with certain values?

转载 作者:行者123 更新时间:2023-12-03 21:01:07 26 4
gpt4 key购买 nike

我正在微调来自 huggingface 的 bert 模型.有没有办法手动设置某个词块的初始嵌入?例如使单词“dog”的初始嵌入等于 torch.ones(768) .谢谢!

最佳答案

您可以设置 BertModel 的输入嵌入:get_input_embeddings()

您需要知道词汇表中的词片索引,并且可以更改嵌入矩阵中的相应行。

关于nlp - 拥抱脸 pytorch 变压器 : how to initialize embeddings with certain values?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/57581587/

26 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com