java - 句子之间的语义相似度

Question

我正在做一个项目。我需要任何开源工具或技术来找到两个句子的语义相似性，我将两个句子作为输入，并接收分数(即语义相似性)作为输出。有帮助吗？

Answer 1

Salma，恐怕这个论坛不适合您的问题，因为它与编程没有直接关系。我建议您在 corpora list 上再次提问.您可能还想先搜索他们的文件。

除此之外，您的问题不够精确，我将解释我的意思。我假设您的项目是关于计算句子之间的语义相似度，而不是关于语义相似度只是其中之一的其他事物。如果是这样，那么有几点需要考虑: 首先，无论是从计算语言学还是理论语言学的角度，都不清楚“语义相似性”这个术语的确切含义。有许多不同的观点和定义，都取决于要解决的问题的类型、手头的工具和技术以及处理此任务的人的背景等。考虑以下示例:

1. Pete 和 Rob 在车站附近发现了一只狗。
2. Pete 和 Rob 从未在车站附近发现过狗。
3. Pete 和 Rob 都非常喜欢编程。
4. Patricia 在车站附近发现了一只狗。
5. 是一只狗在雪下找到了 Pete 和 Rob。

2-4 中哪些句子与 1 相似？ 2 与 1 完全相反，仍然是关于皮特和罗布(不)找到狗。 3 是关于皮特和罗伯的，但背景完全不同。 4是关于在车站附近找一只狗，虽然发现者是别人。 5 是关于 Pete、Rob、一只狗和一个“发现”事件，但方式与 1 不同。至于我，即使不编写计算机程序，我也无法根据它们的相似性对这些示例进行排名.

为了计算语义相似度，您需要首先确定您希望将哪些内容视为“语义相似”，哪些不是。为了计算句子级别的语义相似性，理想情况下，您会比较句子的某种含义表示。意义表示通常以逻辑公式的形式出现，生成起来极其复杂。然而，有一些工具试图做到这一点，例如Boxer

作为一种简单但通常实用的方法，您可以将语义相似度定义为一个句子中的单词与另一个句子中的单词之间的相似度之和。这使问题变得容易得多，尽管仍然有一些难题需要解决，因为单词的语义相似性与句子的语义相似性一样难以定义。如果您想对此有一个印象，请查看 D.A. 的“词汇语义”一书。克鲁斯 (1986)。然而，有相当多的工具和技术可以计算单词之间的语义相似度。他们中的一些人基本上将它定义为分类法中两个词的负距离，如 Word Net或维基百科分类法(参见 this paper，它描述了一个 API)。其他人通过使用在大型文本语料库上计算的一些统计措施来计算语义相似性。它们基于相似的词出现在相似的上下文中的洞察力。计算句子 或 单词之间语义相似度的第三种方法与您可能从信息检索中了解到的 vector 空间模型有关。要全面了解后一种技术，请查看 Manning 和 Schütze 合着的统计自然语言处理基础一书中的第 8.5 章。

希望这能让您暂时站起来。