python - scikit 学习 : Problems creating customized CountVectorizer and ChiSquare

Question

我有以下代码(基于示例 here )，但它不起作用:

[...]
def my_analyzer(s):
    return s.split()
my_vectorizer = CountVectorizer(analyzer=my_analyzer)
X_train = my_vectorizer.fit_transform(traindata)

ch2 = SelectKBest(chi2,k=1)
X_train = ch2.fit_transform(X_train,Y_train)
[...]

调用fit_transform时出现如下错误:

AttributeError: 'function' object has no attribute 'analyze'

根据文档，CountVectorizer 应该这样创建:vectorizer = CountVectorizer(tokenizer=my_tokenizer)。但是，如果这样做，我会收到以下错误:"got an unexpected keyword argument 'tokenizer'"。

我实际的 scikit-learn 版本是 0.10。

Answer 1

您正在查看 0.11(即将发布)的文档，其中对矢量化器进行了大修。检查documentation for 0.10 ，其中没有 tokenizer 参数，analyzer 应该是一个实现 analyze 方法的对象:

class MyAnalyzer(object):
    @staticmethod
    def analyze(s):
        return s.split()

v = CountVectorizer(analyzer=MyAnalyzer())

http://scikit-learn.org/dev是即将发布的版本的文档(可能随时更改)，而 http://scikit-learn/stable有当前稳定版本的文档。