python - 如何用gensim过滤掉语料库中tf-idf低的词？

Question

我正在使用 gensim 执行一些 NLP 任务。我从 dictionary.doc2bow 创建了一个语料库，其中 dictionary 是 corpora.Dictionary 的一个对象。现在我想在运行 LDA 模型之前过滤掉 tf-idf 值较低的项。我查看了 documentation语料库类的，但找不到访问术语的方法。有任何想法吗？谢谢。

Answer 1

假设您的语料库如下:

corpus = [dictionary.doc2bow(doc) for doc in documents]

运行 TFIDF 后，您可以检索低值(value)词列表:

tfidf = TfidfModel(corpus, id2word=dictionary)

low_value = 0.2
low_value_words = []
for bow in corpus:
    low_value_words += [id for id, value in tfidf[bow] if value < low_value]

然后在运行 LDA 之前将它们从字典中过滤掉:

dictionary.filter_tokens(bad_ids=low_value_words)

过滤掉低值(value)词后重新计算语料库:

new_corpus = [dictionary.doc2bow(doc) for doc in documents]