python-2.7 - 如何使用gensim将一组文档标记为unigram + bigram bagofwords？

Question

我知道我可以使用 scikit learn，

vectorizer = TfidfVectorizer(min_df=2,ngram_range=(1, 2),norm='l2')

corpus = vectorizer.fit_transform(text)

这段代码。但是我怎么能用 gensim 做到这一点呢？

Answer 1

我想你可以看看 utils 中的 simple_preprocess

gensim.utils.simple_preprocess(doc, deacc=False, min_len=2, max_len=15) Convert a document into a list of tokens.

This lowercases, tokenizes, de-accents (optional). – the output are final

tokens = unicode 字符串，不会被进一步处理。