python - CountVectorizer 只返回零

Question

我正在尝试从给定的文档中提取一些特征，给定一组预定义的特征。

from sklearn.feature_extraction.text import CountVectorizer
features = ['a', 'b', 'c']
doc = ['a', 'c']

vectoriser = CountVectorizer()
vectoriser.vocabulary = features
vectoriser.fit_transform(doc)

但是输出是一个 2x3 数组，用零填充而不是:

desired_output = [[1, 0, 0]
                  [0, 0, 1]]

任何帮助将不胜感激

Answer 1

这是因为 CountVectorizer 中的默认标记模式会删除任何只有一个字符长的单词。您可以更改默认 token 模式来解决此问题:

from sklearn.feature_extraction.text import CountVectorizer
features = ['a', 'b', 'c']
doc = ['a', 'c']

vectoriser = CountVectorizer(vocabulary=features, token_pattern=r"\b\w+\b")

vectoriser.fit_transform(doc)