python - 加速 sklearn 中的矢量化

Question

第一个问题，如果我搞砸了，抱歉。

我正在做一个分类项目，涉及 1600 个独特的文本文档，超过 90 个标签。其中许多文档都是研究论文，因此您可以想象功能集相当大 - 远远超过一百万。

我的问题是矢量化永远。我知道根据我的数据，它不会很快，但它所花费的时间变得不切实际。我从第一个答案中获取了建议 this question它似乎没有帮助 - 我想象回答者建议的优化已经合并到 scikit-learn 中。

这是我的代码，使用调整后的词干向量化函数:

%%timeit

vect = StemmedCountVectorizer(min_df=3, max_df=0.7, max_features=200000, tokenizer=tokenize,
        strip_accents='unicode', analyzer='word', token_pattern=r'\w{1,}',
        ngram_range=(1, 3), stop_words='english')

vect.fit(list(xtrain) + list(xvalid))
xtrain_cv = vect.transform(xtrain)
xvalid_cv = vect.transform(xvalid)

分词器引用此函数:

stemmer = SnowballStemmer('english')

def stem_tokens(tokens, stemmer):
    stemmed = []
    for item in tokens:
        stemmed.append(stemmer.stem(item))
    return stemmed

def tokenize(text):
    tokens = nltk.word_tokenize(text)
    tokens = [i for i in tokens if i not in string.punctuation]
    tokens = [i for i in tokens if all(j.isalpha() or j in string.punctuation for j in i)]
    tokens = [i for i in tokens if '/' not in i]
    stems = stem_tokens(tokens, stemmer)
    return stems

%%timeit 报告:

24min 16s ± 28.2 s per loop (mean ± std. dev. of 7 runs, 1 loop each)

有什么事情明显拖慢了我的速度吗？任何明显的效率低下的情况都值得了解。我正在考虑将我的 n-gram 范围减少到 (1,2)，因为我认为我没有获得太多有用的 3-gram 特征，但除此之外，我不知道还能做什么。

Answer 1

1600 个文本文档实际上并没有那么大，所以它应该快得多。一些建议:

1) 要分析您的代码，请使用 cProfile and ptats 。您将看到具体哪些步骤较慢。

2) n-gram 具有巨大的复杂性。二元组通常没问题，三元组开始变得非常麻烦。使用“更智能”的解决方案。为什么不使用 gensim phraser ？

3) 使用 in 运算符不能很好地处理列表(因为它测试列表的每个元素)，但可以很好地处理集合(因为底层的哈希函数)。您应该将字符串(例如 string.punctuation)视为列表。只需将其转换为集合即可。

4) 如果可以的话，分解您的 tokenize 函数(在 token 上进行多个循环)。

5) 如果不够快，请使用多线程。