gpt4 book ai didi

algorithm - 计算单词之间的语义距离

转载 作者:塔克拉玛干 更新时间:2023-11-03 02:33:39 25 4
gpt4 key购买 nike

有谁知道计算两个词之间“语义距离”的好方法吗?

我立刻想到了一种计算同义词库中单词之间步数的算法。


好的,看起来类似的问题已经得到回答:Is there an algorithm that tells the semantic similarity of two phrases .

最佳答案

在文本挖掘中有一个重要的格言:“你应该知道一个词company it keeps”。这意味着可以根据经常出现在该词附近的术语来了解该词的含义。

在不输入大量细节的情况下,让我给出两个简单的选项来估计术语之间的语义距离:

  1. 使用类似于 WordNet 的资源(一个大型的英语词汇数据库)。 WordNet 表面上类似于词库,因为它根据单词的含义将单词组合在一起。单词之间的语义距离可以估计为连接两个单词的顶点数。

  2. 使用大型语料库(例如维基百科),计算出现在您正在分析的词附近的术语。创建两个向量并计算距离(例如余弦)。

您可以查看这些 Material 以获得有关该主题的图片:

  1. http://www.saifmohammad.com/WebDocs/Mohammad_Saif_Thesis-slides.pdf

  2. http://www.umiacs.umd.edu/~saif/WebDocs/distributionalmeasures.pdf

  3. http://www.umiacs.umd.edu/~saif/WebDocs/Measuring-Semantic-Distance.pdf

关于algorithm - 计算单词之间的语义距离,我们在Stack Overflow上找到一个类似的问题: https://stackoverflow.com/questions/399200/

25 4 0
Copyright 2021 - 2024 cfsdn All Rights Reserved 蜀ICP备2022000587号
广告合作:1813099741@qq.com 6ren.com