用于文本分析的算法或库，特别是跨文本的 : dominant words, 短语和文本集合

Question

我正在做一个项目，我需要分析一页文本和几页文本的集合以确定主导词。我想知道是否有一个库(更喜欢 c# 或 java)可以为我处理繁重的工作。如果没有，是否有一种或多种算法可以实现我的以下目标。

我想要做的类似于从您在网络上找到的 url 或 rss 提要构建的词云，只是我不想要可视化。它们一直被用来分析总统候选人的演讲，以了解主题或最常用的词是什么。

复杂的是，我需要对数千个短文档执行此操作，然后是这些文档的集合或类别。

我最初的计划是解析文档，然后过滤常用词 - of、the、he、she 等。然后计算剩余词在文本中出现的次数(以及整个集合/类别) .

问题是以后想处理词干提取、复数形式等。我也想看看有没有办法识别重要的短语。 (而不是一个单词的计数，一个短语的计数是 2-3 个单词在一起)

任何对策略、库或算法有帮助的指导都将受到赞赏。

Answer 1

您正在做的事情的一个选项是词频到反文档频率，或 tf-idf。最强项将在此计算下具有最高权重。检查是否在这里:http://en.wikipedia.org/wiki/Tf-idf

另一种选择是使用类似朴素贝叶斯分类器的方法，将单词作为特征，找出文本中最强的特征来确定文档的类别。这与最大熵分类器的工作方式类似。

就执行此操作的工具而言，最好的入门工具是 NLTK，这是​​一个具有大量文档和教程的 Python 库:http://nltk.sourceforge.net/

对于 Java，尝试 OpenNLP:http://opennlp.sourceforge.net/

对于短语内容，请考虑我提供的第二个选项，即使用二元组和三元组作为特征，甚至作为 tf-idf 中的术语。

祝你好运!