nlp - 从一个句子列表中找到具有相似相对含义的句子

Question

我希望能够找到具有相同含义的句子。我有一个查询语句，以及一长串数以百万计的其他语句。句子是单词，或称为符号的特殊类型的单词，它只是一种表示正在谈论的对象的单词。

比如我的查询语句是:

示例:将 (x) 添加到 (y) 给出 (z)

我的数据库中可能已经存在一个句子列表，例如: 1. (x) 和 (y) 的总和是 (z) 2. (x) 加 (y) 等于 (z) 3. (x) 相乘by (y) 不等于 (z) 4. (z) 是 (x) 和 (y) 的总和

该示例应该匹配我的数据库中的句子 1, 2, 4 但不是 3。此外，句子匹配应该有一些权重。

它不仅仅是数学句子，它的任何句子都可以根据单词的含义与任何其他句子进行比较。我需要某种方法来比较一个句子和许多其他句子，以找到具有相近意义的句子。 IE。句子之间的映射基于它们的含义。

谢谢! (该标签是语言设计的，因为我无法创建任何新标签)

Answer 1

首先:您要解决的是一个非常困难的问题。根据数据集中的内容，它可能是 AI-complete .

您将需要您的程序知道或学习 add、plus 和 sum 指的是同一个概念，而乘法是不同的概念。您可以通过测量 WordNet/FrameNet 中单词的同义词集之间的距离来做到这一点，但如果您不想找到乘法，则距离计算必须非常精确。否则，您可能需要手动建立一些词概念映射(例如 {'add' : 'addition', 'plus' : 'addition', 'sum' : 'addition', 'times' : 'multiplication'} )。

如果您想要完整的句子语义，您还必须解析句子并从解析树/依赖关系图中导出含义。 Stanford parser是一种流行的解析选择。

您还可以在问答研究中找到解决此问题的灵感。在那里，一种常见的方法是解析句子，然后将解析树的片段存储在索引中，并通过常见的搜索引擎技术(例如 tf-idf，在 Lucene 中实现)进行搜索。这也将为您提供每个句子的分数。