gpt4 book ai didi

nlp - BERT 词嵌入的量级/范数有什么意义?

转载 作者:行者123 更新时间:2023-12-04 13:40:56 24 4
gpt4 key购买 nike

我们通常将词嵌入之间的相似度与余弦相似度进行比较,但这仅考虑了向量之间的角度,而不是范数。使用 word2vec,向量的范数会随着单词在更多不同上下文中的使用而降低。因此,停用词接近于 0,并且非常独特、意义重大的词往往是大向量。 BERT 是上下文敏感的,所以这个解释并不完全涵盖 BERT 嵌入。有谁知道向量幅度对 BERT 的意义是什么?

最佳答案

我认为 BERT 和其他嵌入(如 GloVE 或 Word2Vec)在余弦相似度或向量范数方面没有任何区别。只是 BERT 是上下文相关的嵌入,因此为不同的上下文提供不同的词嵌入。

关于nlp - BERT 词嵌入的量级/范数有什么意义?,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/57164764/

24 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com