python - 识别文本中的重要单词和短语

Question

我将文本存储在 python 字符串中。

我想要什么

1. 识别该文本中的关键词。
2. 识别该文本中的 N-gram(理想情况下不仅仅是 bi 和 tri gram)。

记住...

• 文本可能很小(例如推文大小)
• 文本可能居中(例如新闻文章大小)
• 文本可能很大(例如书籍或章节大小)

我有什么

我已经在使用 nltk将语料库分解为标记并删除停用词:

    # split across any non-word character
    tokenizer = nltk.tokenize.RegexpTokenizer('[^\w\']+', gaps=True)

    # tokenize
    tokens = tokenizer.tokenize(text)

    # remove stopwords
    tokens = [w for w in tokens if not w in nltk.corpus.stopwords.words('english')]

我知道 BigramCollocationFinder 和 TrigramCollectionFinder 完全符合我对这两种情况的要求。

问题

我需要有关高阶 n-gram 的建议，改进来自 BCF 和 TCF 的结果类型，以及有关识别最独特的单个关键字的最佳方法的建议。

非常感谢!

Answer 1

至于识别最独特的单个关键词的最佳方法，tfidf 是总度量。因此，您必须以某种方式集成一个搜索引擎(或制作一个简单的自定义倒排索引，该索引是动态的并保存术语频率、文档频率)，以便高效且即时地计算 tfidf。

至于您的 N-gram，您为什么不使用“窗口”方法(窗口的长度为 N)创建一个自定义解析器来标识它们中出现频率最高的语法分析器？ (只需将每个 N-gram 作为字典中的键，其值可以是频率或分数(基于单个术语的 tfidf))