python - 为 scikit-learn CountVectorizer 提供带有空格的词汇表

Question

引用此post 。我想知道我们如何向 CountVectorizer 模型提供带有空间的单词词汇表，例如分布式系统还是机器学习？这是一个例子:

import numpy as np
from itertools import chain

tags = [
  "python, tools",
  "linux, tools, ubuntu",
  "distributed systems, linux, networking, tools",
]

vocabulary = list(map(lambda x: x.split(', '), tags))
vocabulary = list(np.unique(list(chain(*vocabulary))))

我们可以向模型提供这个词汇列表

from sklearn.feature_extraction.text import CountVectorizer
vec = CountVectorizer(vocabulary=vocabulary)
print(vec.fit_transform(tags).toarray())

在这里，我忘记了分布式系统(第一列)的字数。结果如下:

[[0 0 0 1 1 0]
 [0 1 0 0 1 1]
 [0 1 1 0 1 0]]

我必须更改token_pattern或其他地方吗？

Answer 1

我认为本质上您已经预先定义了要分析的词汇表，并且您希望通过拆分“,”来标记您的标签。

您可以通过以下方式欺骗 CountVectorizer 来做到这一点:

from sklearn.feature_extraction.text import CountVectorizer
vec = CountVectorizer(vocabulary=vocabulary, tokenizer=lambda x: x.split(', '))
print(vec.fit_transform(tags).toarray())

，给出:

[[0 0 0 1 1 0]
 [0 1 0 0 1 1]
 [1 1 1 0 1 0]]