nlp - 如何开始使用 NLP 进行文本摘要项目？

Question

我最后一年的工程项目要求我使用 Java 或 Python 构建一个应用程序，该应用程序使用自然语言处理来总结文本文档。我什至如何开始编写这样的应用程序？

根据一些研究，我刚刚注意到基于提取的摘要对我来说是最好的选择，因为它不像基于抽象的算法那么复杂。即便如此，如果有人能引导我朝着正确的方向去做这件事，那将是非常有帮助的。

Answer 1

文本摘要仍然是 NLP 中的一个悬而未决的问题。

我想您可能首先要问自己摘要的目的是什么:

区分文档与其他文档的摘要

只挖掘频繁模式的总结

涵盖文档中所有主题的摘要

等

因为这会影响您生成摘要的方式。

但作为开始，您可以在 python 中使用 NLTK 框架从文本中提取基本元素。
例如，您可以从文本中提取最频繁的单词，或最频繁的 N-gram(N 个相邻单词)。

提取最相关句子的一种简单方法是使用 TF-IDF，它代表词频，逆文档频率。基本上，与其他文档相比，此功能会为在一个文档中经常出现的句子提供更高的分数。

您可以使用的一些 python 库:

sickitlearn具有更高级的功能。

还有gensim库有一个文本摘要教程(也在 python 中)

您也可以使用Dato它还有一个文本分析模块。

一些有用的资源:

这本书:Foundations of Statistical Natural Language Processing

您还可以注册一个 coursera 类(class)，以了解文本挖掘的基础知识:
https://www.coursera.org/learn/text-mining

还有来自斯坦福大学的这个 coursera 类(class)(TF-IDF 在其中一个视频中进行了解释)
https://class.coursera.org/nlp/lecture/preview

希望这可以帮助。