.net - NLP/任务。回答-从数据库检索信息

Question

我最近一直在阅读有关NLP的文章，到目前为止，我已经（非常）基本了解所有工作原理，包括从句子拆分到POS标记以及知识表示。

我知道那里有各种各样的NLP库（主要是Java或Python），并且找到了.NET实现（SharpNLP）。真的很棒。无需编写任何自定义处理逻辑；只需使用其功能，瞧！用户输入分开且带有POS标签。

如果我的主要动机是建立一个问答系统（像一个聊天机器人），我不知道该怎么办。我可以使用哪些库（最好是.NET）？如果我想构建自己的知识库，应该如何表示我的知识？我是否需要将带有POS标签的输入解析为数据库可以理解的其他内容？如果我使用的是MS SQL，是否有任何库可帮助将POS标记的输入映射到数据库查询？还是我需要根据过程语义（我已阅读）编写自己的数据库查询逻辑？

当然，下一步是提出一个结构合理的答复，但我想我可以留待以后再谈。现在困扰我的是这方面的资源缺乏（知识表示，从NLP到KB / DB的检索），如果在那里有人可以向我提供您的专业知识，我将不胜感激：）

Answer 1

这是一个非常广泛的问题，因此它几乎不适合StackOverflow的格式，尽管如此，我还是想给它一个刺刀。

首先，谈谈自然语言处理
NLP领域中成熟工具的广泛使用本身就具有误导性。从POS标记或分块到自动汇总或命名实体识别之类的所有/大多数NLP功能都可以被各种库的逻辑和支持数据很好地覆盖并得到很好的服务。但是，从这些构建模块构建实际解决方案并不是一件容易的事。一个需要：


根据某种流水线或链来设计解决方案，从而将特定转换的结果输入到后续流程的输入中。
配置各个过程：这些过程的计算框架已经很好地建立，但是它们对基础数据（例如训练/参考语料库，可选的调整参数等）极为敏感。
选择并验证适当的功能/过程。


对于与从文本中提取和处理语义元素相关联的解决方案的一部分而言，以上内容特别困难（仅举几例说明：信息提取，但也包括歧义歧义消除，关系提取或情感分析）。这些NLP功能和各个库中的相应实现往往难以配置，对与域相关的模式或语音水平甚至支持语料库的“格式”变化更敏感。

简而言之，NLP库为应用程序（例如问题中提到的“问答系统”）提供了必要的构建基块，但是需要很多“胶水”和关于如何以及在何处使用胶水的酌处权（以及适当的剂量）非NLP技术，例如知识表示问题，如下所述。

关于知识表示
如上所述，仅POS标记不足以构成NLP流水线。实质上，POS标记将添加有关文本中每个单词的信息，表明单词的[可能]语法作用（例如在名词，形容词，动词与代词等中）。此POS信息在允许的范围内非常有用。例如，随后将文本分块成逻辑上相关的单词组和/或在词典，分类法或本体中更精确地查找单个单词。

为了说明某些“问题回答系统”可能需要的信息提取类型和基础知识表示，我将讨论各种语义搜索引擎中使用的通用格式。但是请注意，对于语义搜索，此格式可能更具概念性，而不是规定性；其他应用程序（如专家系统或翻译机）也需要其他形式的知识表示。

这个想法是将NLP技术与支持数据一起使用（从简单词典的简单“查找表”到分类法的树状结构，再到以专门语言表示的本体），从文本中提取实体的三元组，其结构如下：


代理人：某事或某人“在做”某事
动词：正在做什么
对象：完成“操作”的人员或物品（或更笼统地说，是有关“操作”的信息的补充）


例子：
猫/代理商吃/动词鼠标/对象。
约翰·格里舍姆（John-Grisham）/代理写作/动词The-Pelican-Brief / Object
牛/代理产品/动词牛奶/物体

此外，这种三元组（有时也称为“事实”）可以分为各种类型，分别对应于特定的语义模式，通常围绕动词的语义进行组织。例如，“ Cause-Effect”事实具有表示某些因果关系的动词，“ Contains”事实具有表示容器与容器之间关系的动词，“ Definition”事实适用于定义了主体/主体的模式。部分地]（例如“猫是哺乳动物”）等。

可以轻松想象如何查询这样的事实数据库，以提供问题的答案，并提供各种技巧和服务，例如同义词替换或改善问题答案的相关性（与普通关键字匹配相比）。

真正的困难在于从文本中提取事实。为此，许多NLP功能都在发挥作用。例如，NLP管道中的步骤之一是用代词所引用的名词代替代词（指代解析度或更一般地说是NLP术语中的共同引用解析度）。另一个步骤是识别命名实体：人名，地理位置，书籍等（在NLP语言中为NER）。另一个步骤可能是重写由“ AND”连接的子句，以便通过重复所隐含的语法元素来创建事实。
例如，上面的John Grisham示例可能来自文本摘录，例如
Author J. Grisham was born in Arkansas. He wrote "A time to Kill" in 1989 and "The Pelican Brief" in 1992"

进入John-Grisham/Agent wrote/Verb The-Pelican-Brief/Object意味着（除其他事项外）：


确定“ J. Grisham”和“ The Pelican Brief”为特定实体。
在第二句中用“ John-Grisham”代替“ He”。
将第二句话改写为两个事实：“约翰·格里舍姆（John-Grisham）于1989年写了《 A-time-to-kill》”和“约翰·格里舍姆（John-Grisham）于1992年写了《鹈鹕简报》”
删除“ 1992年”部分（或者更好的是，创建另一个事实，一个“时间事实”：“ The-Pelican-Brief / Agent is-related-in-time / verb year-1992 / object”）（顺便说一下，还暗示已将1992标识为“年”类型的时间实体。）


简而言之：即使将信息提取应用于相对有限的域，并且利用库中现有的NLP功能，信息提取也是一项复杂的任务。当然，这不仅仅是从形容词和动词中识别名词，而是一种“更令人迷惑的”活动；-)