c - 用于简单 POS 标记的 NLP 库

Question

我是一名从事 NLP 暑期项目的学生。我是这个领域的新手，所以如果有一个非常明显的解决方案，我深表歉意。该项目是用 C 语言编写的，这既是因为我对它很熟悉，也是因为该项目的计算密集型性质(我的语料库是维基百科的纯文本转储)。

我正在研究一种关系提取方法，利用一致性原则尝试学习(在某个错误阈值范围内)一组规则，这些规则规定哪些语法对象簇暗示这些对象之间的联系。

该算法的第一步涉及找到给定单词可以指代的所有可能语法对象的集合(POS 消歧由算法在后面的步骤中隐式完成)。我看过几个解析器，但它们似乎都自己执行消歧步骤，这(从我的角度来看)适得其反。我正在寻找现成的东西，它(理想情况下)可以给我一种单命令方式来显示这些信息。

有这样的东西吗？如果没有，是否存在包含此信息的现有字典，这些信息可以简单地由机器解析？

感谢您的帮助。

Answer 1

看看 CMU Sphinx。一个开源的 NLP 项目。我认为它在 C++ 中，但您可以集成它或至少了解如何处理事情。